第二次世界大战结束后，苏联人总结战时的经验发现手枪在实战中使用率极低，再加上托卡列夫手枪的一些固有缺点，因此决定开发新的军官自卫手枪，要求比托卡列夫手枪更紧凑、更安全和停止作用更大的半自动手枪。
可能是受到帝俄时期曾装备过的勃朗宁FNM1903的影响，有人建议采用自由枪机，因此需要一种威力尽可能大但又要适合简单的自由后坐式枪机的手枪弹。为此，苏联工程师首先研制了一种名为PP39的9×18mm手枪弹，并于1940年6月提交靶场试验。
这种PP39手枪弹就是后来的马卡洛夫手枪弹的真正前身，在西方和中国的资料上，一直认为苏联的9×18mm手枪弹是抄袭德国的9mmUltra弹，但实际上早在二战前苏联人就已经在研制9×18mm弹，只是在战后借助德国9mmUltra弹使之完善，而且苏联弹与德国9mmUltra弹和战后类似的9×18mm警用弹都不通用，因为苏联弹的弹头直径更大。
马卡洛夫于1940年未开始设计自卫手枪，并命名为马卡洛夫（称为PM手枪）。由于PM的结构与德国的沃尔特PP近似，因此在许多资料上都认为马卡洛夫是模仿德国手枪。但事实上PM有很多鲜明特点，比如固定销很少，零件总数少，尽可能一物多用，并非完全基于沃尔特PP。同时所采用的9×18mm手枪弹也被称为马卡洛夫手枪弹（或PM手枪弹）。
在1951年，苏联红军决定采用马卡洛夫PM手枪作为新的自卫武器，并一直服役到20世纪未，除前苏联/俄罗斯外，在中国和其他前华约国家也有仿制。
马卡洛夫手枪采用简单的自由后坐式工作原理，结构简单，性能可靠，成本低廉，在当年是同时代最好的紧凑型自卫手枪之一。射击时火药燃气的压力通过弹壳底部作用于套筒的弹底窝，使套筒后坐，并利用套筒的重量和复进簧的力量，使套筒后坐的速度降低，在弹头离开枪口后，才开启弹膛，完成抛壳等一系列动作。
马卡洛夫手枪的击发机构为击锤回转式，双动发射机构。保险装置包括有不到位保险，外部有手动保险机柄。马卡洛夫手枪采用由固定式片状准星和缺口式照门，在15-20米内时有最佳的射击精度和杀伤力。其钢制弹匣可装8发PM手枪弹，弹匣壁镂空，既减轻了重量也便于观察余弹数，并有空仓挂机能力。
在20世纪最后十年间有许多改进马卡洛夫手枪缺点的试验，最明显的缺点是较低的停止作用和杀伤力，以及小容量的弹匣。首先，改进的弹药采用更轻的弹头和燃速更快的发射药颗粒，新枪弹的初速为430米/秒，比原来的9×18mm弹的315米/秒要快，使枪口动能提高到1.7倍。
增大容弹量的马卡洛夫手枪改进型与新弹药同时研制，弹匣容量增加到12发，改进型把原来形状纤细的握把改成可以适应较厚弹匣的形状，握把嵌板也作了改进。改进型马卡洛夫手枪被定型为PMM（即马卡洛夫手枪改进型），而新的枪弹也同时被定型为9×18mmPMM弹。
PMM手枪既可用标准的PM弹也可以用改进的PMM弹，其使用对象为军队和执法机构，但显然销售运气并不好。
德国统一后，马卡洛夫手枪停止生产。原东德警察换USP时，还有大量库存的马卡洛夫手枪弹。为了使用库存弹药，HK公司设计了一套用USP手枪发射马卡洛夫手枪弹的改装套件，包括枪管和复进簧组件。装到USP手枪上后，USP手枪变为自由枪机式手枪。