1849年9月26日，巴甫洛夫出生在俄国中部小城梁赞，他的父亲是位乡村牧师，母亲替人家做饭贴补家用。
巴甫洛夫自幼学习勤奋、兴趣广泛。由于他父亲喜欢看书，家中有许多像赫尔岑、车尔尼雪夫斯基等人的进步著作，在父亲的影响下，巴甫洛夫一有空就爬到阁楼上，读父亲的藏书。21岁时他和弟弟德米特里一起考入彼得堡大学自然科学系。
他和弟弟尽管在大学里学习优异并年年获奖学金，但生活还是比较清贫，需要给别人做家庭教师才能维持日常生活。为了节省车费，他们每天都要步行走好远的路。巴甫洛夫在大学里以生物生理学为主修课，学习十分刻苦，为了使实验做得得心应手，他不断练习用双手操作，渐渐地相当精细的手术他也能迅速准确地完成，导师很赏识他的实验才能，常叫他当自己的助手。巴甫洛夫不懂就问，每次手术都做得既快又好，渐渐有了名气。巴甫洛夫四年级时在导师指导下和另一同学合作，完成了关于胰腺的神经支配的第一篇科学论文，获得了校方的金质奖章。
1875年，巴甫洛夫获得生理学学士学位，成为自己导师的助教，同年他又考上了圣彼得堡大学医学院。1878年，他应俄国著名临床医师波特金教授之邀，到他的医院主持生理实验室工作。实验室听起来好听，其实只是一间非常陈旧狭小的屋子，它既像看门人的住房，又像一间澡堂，巴甫洛夫却在这里工作了10余年。
后来巴甫洛夫开始研究血液循环和神经系统对心脏的影响。1883年写成“心脏的传出神经支配”的博士论文，获得帝国医学科学院医学博士学位、讲师职务和金质奖章。
虽然巴甫洛夫的科研成果十分出色，但他的生活却没有任何改观，依然贫穷不堪，他没钱给妻儿租房避暑，他的孩子不久就因病夭折在荒僻的乡村，夫妻俩都悲恸至极却无可奈何。曾有一段时期，巴甫洛夫手头连一分钱都没有。学生们好心地请他讲授心脏神经支配的课程，然后凑一笔讲课费给他，却被他拿去买了讲课用的狗，自己分文未留。
从1888年开始，他对消化生理进行研究。巴甫洛夫在狗的身上接上瘘管来观察消化液在胃里的成分和作用，并取得了一些功效。他将3个瘘管接在狗的食管和胃道，然后进行假饲，几分钟后无数细小的胃腺中便分泌出清澈的胃液。一只狗每次可分泌一公斤左右的胃液，经过加工，可对胃酸低的病人进行治疗。
巴甫洛夫还发现分布在胃壁上的第10对脑神经迷走神经与胃液分泌有关。用同样的办法分泌胃液，迷走神经切断，胃液分泌就停止。但如果不假饲，只刺激迷走神经，也能引起胃液分泌。是什么东西对迷走神经产生刺激呢？原来味觉器官感受到了食物刺激，便会通过神经传给大脑，由大脑通过迷走神经对胃液发布命令，胃液开始分泌，这就是“条件反射”学说。为此他领取了“诺贝尔奖”的生理学医学奖。他是第一个享受这个荣誉的俄国科学家。
巴甫洛夫第一个用生理学实验方法来研究高等动物和人的大脑活动，并创立了大脑两半球生理学和反射学说。巴甫洛夫在科尔吐什研究所里，提出关于高级神经活动类型的学说。巴甫洛夫认为人有两个信号系统，小孩吃糖时，只要见到糖就会分泌口水，当他们懂得语言后，只要听到大人们说到糖，也会流口水，这是人类特有的机能。
巴甫洛夫还在一次医学会上宣布：“睡眠能使大脑细胞得到休息。对因神经中枢过度紧张而神经异常的病人，用人工引导沉睡，可使患者恢复正常。”这一理论得到了临床验证。
十月革命初期，人们生活极端困苦。巴甫洛夫一天也没中断研究，在缺粮的情况下，他经常把自己的那份粮食喂给做实验用的狗。1919年冬天，列宁委托高尔基看望巴甫洛夫，了解他的生活和需要，他说：“需要狗，干草、燕麦，需要马制造血清。”当高尔基提出给他补助一份口粮时，他却拒绝了。后来，苏维埃政府颁布了一道列宁签署的命令，责成以高尔基为首的特别委员会，力争在短时间内为巴甫洛夫及同事们的研究工作创造最优越的条件，出版巴甫洛夫20年来的著作……
85岁那年，巴甫洛夫得了肺炎，在病中还不忘观察和记录自己的病情。1936年2月17日，在他最后失去知觉前的两小时，他喃喃地说道：“我脑子里出现了一些执拗的思想和不由自主的运动，显然是神经系统开始混乱，快去请神经病理专家。”