。丞相万彧、将军留平、大司农楼玄三人见孙皓无道，直言苦苦劝谏，都被杀害。前后十几年间，孙皓杀害忠臣四十多人。孙皓出入常常带着五万铁骑，群臣惊恐畏惧，无可奈何。
羊祜听说陆抗被罢兵，孙皓德行有失，认为吴国出现了可乘之机，于是上表派人前往洛阳请求讨伐吴国。奏表大致内容是：
时机命运虽然是上天授予的，但功业必定要靠人来成就。如今长江、淮河的天险，比不上剑阁；孙皓的残暴，超过刘禅；吴人的困苦，甚于巴蜀百姓；而大晋的兵力，比以往更为强盛。不在此时平定四海，却继续拥兵对峙，让天下百姓困于征战戍守，历经盛衰，这是难以长久的。
司马炎看了奏表非常高兴，便下令兴兵。贾充、荀勖、冯紞三人极力进言，认为不可，司马炎因此没有行动。羊祜听说皇上不批准他的请求，叹息道：“天下不如意的事情，十有八九。如今上天赐予的机会却不把握，岂不可惜！”到了咸宁四年，羊祜入朝，奏请辞官回乡养病。司马炎问道：“爱卿有什么安邦之策，可以教导朕呢？”羊祜说：“孙皓暴虐到了极点，如今可以不战而胜。如果孙皓不幸去世，吴国再立贤君，那么吴国就不是陛下所能轻易夺取的了。”司马炎恍然大悟，说：“爱卿如今就带兵前往讨伐，怎么样？”羊祜说：“臣年老多病，不堪担当此任，陛下可另选智勇之士。”于是辞别司马炎回乡。这年十一月，羊祜病危，司马炎亲自乘车前往他家探望。司马炎来到卧榻前，羊祜落泪说：“臣即使万死也不能报答陛下的恩情！”司马炎也哭着说：“朕深感遗憾，没能采用爱卿讨伐吴国的计策。如今谁可以继承爱卿的志向呢？”羊祜含泪说道：“臣就要死了，不敢不竭尽愚忠。右将军杜预可以任用，如果讨伐吴国，一定要用他。”司马炎说：“举荐贤才是好事，爱卿为什么在朝中举荐了人，却烧掉奏稿，不让别人知道呢？”羊祜说：“在朝堂上任命官职，却在私下接受别人的谢恩，这是臣所不赞同的。”说完就去世了。司马炎大哭着回宫，下令追赠羊祜为太傅、巨平侯。南州百姓听说羊祜去世，停止集市交易痛哭哀悼，江南守边将士也都痛哭流涕。襄阳人怀念羊祜在世时，常去岘山游玩，于是在那里建庙立碑，四季祭祀。往来的人看到碑文，无不落泪，因此这座碑被称为“堕