蜀汉灭亡以后，新建的西晋王朝肩负着一统天下的历史使命。在后面的灭东吴的战役中，一代名将羊祜是必须要提及的人。羊祜，字叔子，今山东费县西南人，出身于汉魏名门士族之家，是西晋时期著名的军事家。
从羊祜起上溯九世，羊氏各代皆有人出仕二千石以上的官职。羊祜的祖父羊续，为汉末南阳太守，父亲羊衙为曹魏时期的上党太守，母亲是汉代名儒、左中郎将蔡邕的女儿。另外羊祜的姐姐嫁与了司马懿之子司马师为妻，而羊祜本人的妻子则是曹魏皇室成员夏侯霸的女儿。因此，羊祜在魏晋两朝都有着特殊的身份和地位。正因为羊祜的特殊处境，青年时期的羊祜虽然因博学多才、善于写文、长于论辩而盛名于世，却多次回绝州郡政府的征辟，有意回避了曹氏集团与司马氏集团之间为争夺最高权力而进行的斗争。
但由于门第关系，尽管羊祜基本上游离于两大集团争斗之外，可从思想感情上说，他对司马氏集团显得更为亲近一些。正始十年，司马懿发动高平陵之变，夺得曹魏的军政大权。政变后，司马懿大举剪除曹氏势力，与曹爽有关的很多人都遭到株连。当时，尽管羊祜的岳父夏侯霸为逃避杀戮，投降了蜀国，而羊祜却并未因岳父而受到牵连，这大概和他较为亲近司马氏的政治态度有一定关系。
羊祜第一次接受征辟是在司马昭执政时期。不久羊祜就加入司马氏集团，并逐渐上升为该集团中的重要人物。曹髦统治时期，他先后出任中书侍郎、给事中、黄门郎等职。到魏元帝时期，羊祜调任为秘书监。到司马炎建五等爵制的时候，羊祜以功被封为巨平子爵，食邑六百户，不久，又被拜为相国从事中郎，与司马炎的另一心腹荀勖共掌机密。司马炎代魏前夕，羊祜被调为中领军，统领御林军，掌管京城内外戍卫。司马炎受禅后，以羊祜佐命之功，羊祜进号为中军将军，加散骑常侍，晋爵为郡公，食邑三千户。羊祜担心引起贾充等权臣的妒嫉，于是固让封公，只授侯爵。泰始初年，司马炎曾改任羊祜为尚书右仆射、卫将军等职。
西晋建立以后，晋武帝司马炎积极筹划消灭孙吴政权的战争，以实现统一大业。泰始五年，即公元269年，司马炎除任命大将军卫瓘、司马伷分镇临淄、下邳，加强对孙吴的军事布置以外，又特地调任羊祜为荆州诸军都督，镇守襄阳，进行战前准备。当时，西晋与孙吴于荆州形成南北对峙的局面，西晋所辖荆州包括今天的陕西、河南的一小部分和湖北北部地区，而孙吴所辖的荆州则有今天的湖北和湖南的大部分地区。这里是晋吴间边界线最长的地区，也自然成为西晋灭吴战争的关键地区。
羊祜到任时，荆州的形势并不稳固。荆州地区的老百姓的生活很不安定，戍兵的军粮也不充足，所以羊祜首先把精力放在了对荆州的开发方面。羊祜禁止辖下的镇将以建造府第的名义扰民，开始大量开办学校，允许晋吴两国间的边民自由往来，尽最大能力改善老百姓的生活。不久，羊祜设法使孙吴撤掉了对襄阳地区威胁最大的石城驻军，这样便抽出一部分军队进行生产活动。他把军队分作两半，一半执行巡逻戍守的军事任务，一半垦田，只当年羊祜所统率的军队就垦田八百余顷，年底收获的时候，打下的粮食足够十年的军需。经过羊祜的这些措施，荆州的社会秩序迅速地安定了，军队的战斗力也得到了增强。羊祜的成就得到了晋武帝的肯定，为表彰他的功绩，下令取消江北所有的都督建置，授予羊祜南中郎将的职务，指挥汉东江夏地区的全部军队。不久，羊祜又被加封为车骑将军，并受到开府如三司之仪的特殊待遇。
泰始六年，即公元270年，江东著名的军事家陆抗到达荆州，担任孙吴在荆州的都督。陆抗注意到西晋的动向，他上书给吴主孙皓，把自己的想法归纳为十七条建议，提醒孙皓。陆抗的到来，使得羊祜感到不安。他一面加紧在荆州进行军事布置，一面向晋武帝密呈奏表。密表建议，伐吴战争必须利用长江上游的便利条件，在益州大办水军，并向晋武帝推荐了益州刺史王浚。羊祜认为，王浚是治理水军的最佳人选，后来的史实也证明了羊祜做法的正确性。
泰始八年，发生了一件事情，使羊祜认识到孙吴的国势虽已衰退，但仍有一定的实力，而且只要有陆抗这样的优秀将领主持军事，平吴战争不宜操之过急。事情是这样的，公元272年八月，吴主孙皓解除西陵，督步阐的职务。步阐害怕被杀，于当年九月，献城降晋。陆抗闻讯，立即派兵围攻西陵。晋武帝命令羊祜和巴西监军徐胤各率军分别攻打江陵和建平，从东西两面分散陆抗的兵力，以实现由荆州刺史杨肇直接去西陵救援步阐的计划。但陆抗破坏了江陵以北的道路，晋军粮秣的运输发生困难，再加上江陵城防坚固，不易攻打，羊祜屯兵于城下，不能前进。杨肇兵少粮悬，被陆抗击败，步阐城陷族诛。战争结束后，羊祜受到处罚，被贬为平南将军。
于是羊祜改变了对孙吴的军事策略，他一面采取军事蚕食，另一面则提倡信义，以积蓄实力，瓦解孙吴，寻找灭吴的合适时机。羊祜先派兵占据了荆州以东的战略要地，先后建立五座城池，把石城以西的土地都纳入西晋的版图之中，以牵制孙吴。在荆州边界，他针对孙皓的残酷无道，对孙吴的百姓与军队讲究信义。羊祜每当发生军事冲突，都预先与对方商定交战的时间，从不搞突然袭击。部将中有主张偷袭的，羊祜就用酒将他们灌醉，不许他们再说。有一次，部下从边界抓到吴军两位将领的孩子。他知道后，马上命令将孩子送回。羊祜经常释放被俘的敌将，对战死的吴人也厚礼殡殓，送交对方。行军路过吴国边境，如果晋军使用当地的粮草，他都要下属按数作价给予赔偿。打猎的时候，羊祜约束部下，不许超越边界线。凡是被吴人射杀的禽兽，他都送还对方。对于投奔西晋的吴军将领，羊祜更是格外优待。羊祜这些做法，使对方心悦诚服。吴国人十分尊重他，不称呼他的名字，只称“羊公”。许多人受到感召而投降于他。陆抗虽然看出了羊祜的打算，但也无可奈何，他只好告诫部下说：“羊祜专门做好事，如果我们专门干不好的事，这不等于说，不用打仗，我们就让人家制服了吗？现在，我们只要守好边界就行了，千万不能光想占对方的小便宜。”结果，在很长的一段时间里，晋吴两国的荆州边界线保持着和平的状态。
成宁二年十月，即公元276年，晋武帝改封羊祜为征南大将军，恢复他贬降前的一切职权。而经过七年的练兵和各项物质准备，荆州边界的晋军实力已远远超过了吴军。这时候，陆抗已经病死，孙吴在荆州前线没有人再能和羊祜抗衡。孙皓的残暴统治更使得吴国政治昏暗不堪，将疑于朝，士困于野，民怨鼎沸，孙吴内部危机四伏，灭吴的条件已经成熟。于是羊祜不失时机地上书给晋武帝请求伐吴。但羊祜的建议遭到了朝内许多大臣的反对，以权臣贾充、荀勖等人的态度最为激烈。他们认为西北地区有鲜卑人的骚乱问题，所以不应该同时进行灭吴战争。晋武帝的态度犹豫，当时除尚书杜预、中书令张华等少数人外，羊祜的意见没有为众臣所接受，灭吴建议被搁置了。羊祜对此十分痛心。
咸宁四年八月，羊祜身染重病。返回洛阳后，他抱病中对晋武帝一再一次陈述了伐吴主张。后来，因病势沉重，羊祜自知不能长久了，他对前来探病的张华说：“孙皓昏庸暴虐，现在灭吴可以不战而克。如果一旦孙皓不在了，吴国另立有为的新君。我们虽然有雄兵百万，也不容易灭掉它了。吴国终将成为我们的后患！”他的主张得到了张华的赞同，于是羊祜高兴地说：“你是能使我志向得到实现的人。”这时候，晋武帝也意识到了机不可失，他要求羊祜带病指挥灭吴的战争。羊祜回答说：“灭吴，不一定非要靠我指挥。功名的事，我并不挂在心上。如果有合适的人选，我会推荐他的。”这年的十一月，羊祜病故，终年58岁。临终前，他向晋武帝举荐杜预接替自己的职务。
西晋灭亡孙吴的战争是中国历史上一次重要的战争，其标志着自东汉末年以来分裂割据状态的结束，使中国重归一统。羊祜虽没能亲自指挥这场战争，但他为规划、准备这场战争做出了不可磨灭的贡献。晋武帝在灭吴后曾流着眼泪，追忆羊祜的功绩，他说：“这都是羊太傅的功劳啊！”
羊祜的死讯传到荆州，人们闻讯莫不痛哭流涕，襄阳城罢市，街头巷尾一片哭泣之声。就是孙吴的守边将士知道消息后，也忍不住流下了眼泪。襄阳老百姓为纪念他，在羊祜生前喜欢游憩的岘山，刻下石碑，因人们一看见石碑就想起羊祜落泪，所以这块碑又名“堕泪碑”。