羊祜是汉末大儒蔡邕的外孙，司马师的内弟。他从小喜欢读书，学识渊博，很有辩才，谈起话来条理清楚，道理充分，说服力强。因他表里如一，言行一致，人们都把他比作孔子的得意门生颜回。
西晋灭蜀后，灭吴就提到议事日程上来了。
这时，吴主孙皓在位，他是孙权的孙子，十分残暴，杀人如麻。他整日沉湎于酒色之中，不问政事。他还随意奸淫大臣的妻女，有人进谏，他竟将进谏者的人头用锯锯掉。他杀人成性，有时剥掉人的脸皮，有时凿瞎人的眼睛。不久，便上下离心，国无宁日了。
汉末天下大乱，到这时已近百年，人心思治，统一已是大势所趋。司马炎泰始五年（269），任命羊祜为荆州都督，屯兵南夏。南夏是靠近东吴边境的小镇，过去十分荒凉。羊祜早有灭亡东吴统一中国的远大抱负，他决心把南夏治理好，作为伐吴的基地。羊祜初到南夏时，士兵没有口粮。他在南夏屯田，让士兵开荒八百多顷。
经过一年的努力，粮食获得大丰收，可供十年之用，解决了军粮问题。羊祜认为“兵不厌诈”与他的性格不符，在这里是用不上的，必须待人以诚，取得吴人的信任和对晋朝的好感。他每次与吴人作战，总要等到日出之后，从不偷袭。羊祜对投降过来的吴人都给予奖励，而且来去自便。有些投降过来的人回到东吴，对吴人讲述羊祜如何优待他们，有很多人听了，也跟着来投降了。
羊祜为人随和，能够与士兵同甘共苦。他经常穿一身便服，带几个随从去打猎。有时候，他一个人去察看士兵的营房，向士兵问寒问暖，因此士兵都很爱戴他。
晋武帝得知羊祜在南夏的政绩，提升他为车骑将军，还要为他在洛阳建造住宅。羊祜推辞说“：东吴未灭，国家尚未统一，我的政绩微不足道，请皇上多奖励那些对国家有更大功劳的人吧。”武帝和朝廷里的文武官员听了这话，都深受感动。
东吴西陵督军步阐，见羊祜待人以诚，便约好率领全城士兵过来投降。羊祜正要去接应，不料东吴大将陆抗已经得知消息，以迅雷不及掩耳之势袭击西陵，把步阐活捉去了。这事传到西晋朝廷上，有人乘机散布流言飞语，中伤羊祜，说步阐被擒，罪在羊祜。不久，羊祜受到了降职的处分。
羊祜不计个人得失，灭吴决心毫不动摇，反而加紧了灭吴的准备工作。羊祜对东吴军民进一步采取攻心战术，有意识地表示友好。一天，他的部下为了贪功，抓了两个东吴的牧童，作为俘虏献给他。羊祜说：“两国交战，小孩子有什么罪？快把他们放了。”他派人把牧童送回东吴，当面交给他们的父母。牧童的父母高兴极了，到处称颂羊祜的恩德，不久举家前来投降。
有一次，吴将陈尚、潘景前来进攻，被西晋的军队打死了。羊祜说“：两军交战，各为其主，他们是忠臣，应当买两口上等棺木装殓他们，让他们的子弟前来迎丧。”陈尚、潘景的子弟果然过来迎丧，羊祜亲切地接待他们，劝他们说：“请节哀，要为国家统一努力，避免出现死人的事。”
有时，羊祜的部下过境作战，因没有粮食吃，割了吴人的稻谷，羊祜知道后，叫部下送绢给吴人，作为补偿。
羊祜的行为使吴人深受感动，他们在提到羊祜时，都不再叫他的名字，尊称他为“羊公”。
在不知不觉中，羊祜把吴国的人心争取过来了。由于羊祜在荆州的功劳，司马炎提升他为征南将军。
在争取人心的同时，羊祜加紧了灭吴的军事部署。在他的推荐下，武帝任命益州刺史王濬为龙骧将军，命王濬在长江上游督造战船，训练水军，准备顺流而下，灭掉东吴。
在一切都准备好了之后，晋武帝咸宁二年（276），羊祜上疏武帝，请求伐吴。
羊祜向晋武帝提出了灭吴的建议，他分析说：“吴主荒淫无道，残暴嗜杀，已经失去民心。如果趁此机会攻打吴国，吴国纵然有长江天险，也无济于事。
灭亡吴国，统一天下就在眼前了。”晋武帝正想接受羊祜的建议出兵东吴，不料秦、凉二州的少数民族首领树机能因受到不平等的待遇，聚众造反了。这样，出兵东吴的事就耽搁了。
羊祜又写了一份奏折说：“秦、凉二州的动乱是小事，统一天下是大事。灭了东吴，乘胜利余威再去平定秦、凉二州，可以不费吹灰之力。请陛下迅速作出决定，不要再犹豫了。”
羊祜的建议受到杜预、张华等人的支持，但武帝的宠臣贾充坚决反对伐吴。因此，羊祜的主张虽然得到晋武帝的赞许，却不得实行。
羊祜仰天长叹说：“当断不断，恐怕将来没有这样的好机会了。”
羊祜无法实现统一大业，心中闷闷不乐，不久就生起病来。他要求带病进京，当面对皇帝和文武大臣陈述灭吴的计划。
咸宁四年（278），羊祜进京。武帝见羊祜身患重病，让他坐着车子上殿，免去朝见之礼。羊祜在朝廷上谈了自己的意见，强调说：“我这次进京，面见皇上，就是要定计灭吴，统一天下。”羊祜为统一事业操尽了心，武帝非常感动，但是怕他累坏身体，便劝他去休息，让他和中书令张华共商灭吴大计。
过了几天，张华向晋武帝详细报告了羊祜的灭吴方略。晋武帝很高兴，准备派羊祜抱病领兵出征，羊祜辞谢说：“灭吴虽是我的愿望，但我有病在身，不便带兵。杜预可以担任灭吴大军的统帅。”
晋武帝接受了他的建议，拜杜预为平东将军。杜预是员儒将，足智多谋。他满腹学问，出谋定计，往往出人意外，因此时人誉为“杜武库”。他的夫人是司马昭的妹妹，他当时在朝中担任度支尚书。
正当杜预接受任务，招集兵马，准备粮草的时候，羊祜病情恶化。这年十一月，羊祜与世长辞了。
羊祜死后，没有为子孙留下任何遗产。两年前，他的女婿曾经劝他置备一些产业，以便传给子孙。羊祜对子女说：“一个人应当大公无私，如果整天为私产打算，就会忘记国家大事的。”
荆州百姓接到噩耗，无不痛哭，为他在岘山树碑立庙，四时祭祀。
这时，老将王濬已经七十多岁了，深感时不我待，特地写了一篇文辞动人的奏章，要求伐吴。他说：“吴主孙皓残暴荒淫，正是伐吴大好时机。
老臣奉旨造船，已有七年之久，因长期闲置不用，有的船已经朽烂。老臣年已七十，来日无多。万一吴国贤主即位，发愤图强，则我悔之晚矣。”
这时，杜预也上表申请伐吴，张华也一再劝武帝及早兴兵。最后，武帝终于下了伐吴的决心。
西晋太康元年（280），晋武帝派大将杜预率领二十多万兵马，分六路，一举灭了吴国。羊祜在九泉之下，也可以瞑目了。