後來到了咸寧四年，羊祜生病了，而且病得很重，羊祜請求回京。羊祜抱病回到洛陽，晉武帝待他極為優渥，下令羊祜可以乘著車輦直接進入皇宮大殿，並且無須行跪拜之禮。羊祜雖抱病在身，仍不忘要完成伐吳大事，便向晉武帝建議了如何伐吳的策略方法。之後，晉武帝顧念羊祜身體欠安，特別交代要他在家好好養病不需上朝，另派中書令張華往返於皇宮與羊府間，以傳達晉武帝的問題與羊祜的回答。
晉武帝仍希望這份伐吳成功的功勞能由羊祜親自獲得，無奈羊祜的病情日漸沉重，羊祜也知道自己時日無多，就向晉武帝推薦了為人機智的杜預接任鎮南大將軍一職。十一月時，五十八歲的羊祜就不幸病故了。
晉武帝聽到了羊祜病故的噩耗，親自穿著釣技用的素色服裝前往祭拜，並難過得大哭。當時天氣非常寒冷，晉武帝的眼淚沾到了他的鬍鬚上後，都凍成了冰塊了。
羊祜生前管轄的各州聽說羊祜過世，百姓們都難過得大哭，市場上也沒有人有這個心再做生意了，街頭巷尾都聽到為了羊祜過世而哭的聲音。而邊境那些吳國的將士們聽說羊祜過世了，不但不歡喜，反而也跟著難過得掉下淚來。這都是因為羊祜生前以仁待人，才獲得如此廣泛的尊崇。
襄陽城的百姓更在羊祜生前最喜歡遊覽的峴山建了一座廟定時祭祀，還立了石碑記載了羊祜的生平，去廟裡祭拜的人見了石碑都因為想念羊祜而落淚。因此，接任羊祜為鎮南大將軍的杜預就將這塊石碑命名為「墮淚碑」。
荊州人為了表示尊敬，許多地方都主動避諱羊祜的名字，連聲音接近的也是。像房屋的「屋」就稱為「門」，官職中的「戶曹」改為「辭曹」等等。
羊祜過世二年後，杜預不負所託，帶領完成了伐吳的重責大任。群臣藉著為晉武帝過壽時慶賀晉武帝完成了統一大業，但晉武帝手持著酒杯，留著淚說：
「此羊太傅之功也。」
並特地寫了一篇策文，派了一位名叫杜宏的官員前往祭祀羊祜的廟，詔告羊祜伐吳成功一事。並比照漢朝蕭何的故事，冊封羊祜的夫人為萬歲鄉君，食邑五千戶，又賜帛萬匹，榖萬斛，以彰顯其功。
改編自 《獨異志》／《晉書》
原文：
《獨異志》．卷中
晉羊祜，字叔子，為荊州守，有恩及閭里。及死，闔境並不言祜字，其有同音，亦改諱之。襄陽百姓於峴山立墮淚碑。
《獨異志》．補佚
晉武帝哭羊祜，冬月涕泗交下，凝鬚為冰。
《晉書》．羊祜傳（下）
祜寢疾，求入朝。既至洛陽，會景獻宮車在殯，哀慟至篤。中詔申諭，扶疾引見，命乘輦入殿，無下拜，甚見優禮。及侍坐，面陳伐吳之計。帝以其病，不宜常入，遣中書令張華問其籌策。祜曰：
「今主上有禪代之美，而功德未著。吳人虐政已甚，可不戰而克。混一六合，以興文教，則主齊堯舜，臣同稷契，為百代之盛軌。如舍之，若孫皓不幸而沒，吳人更立令主，雖百萬之眾，長江未可而越也，將為後患乎！」
華深贊成其計。祜謂華曰：
「成吾志者，子也。」
帝欲使祜臥護諸將，祜曰：
「取吳不必須臣自行，但既平之後，當勞聖慮耳。功名之際，臣所不敢居。若事了，當有所付授，願審擇其人。」
疾漸篤，乃舉杜預自代。尋卒，時年五十八。帝素服哭之，甚哀。是日大寒，帝涕淚沾須鬢，皆為冰焉。
南州人徵市日聞祜喪，莫不號慟，罷市，巷哭者聲相接。吳守邊將士亦為之泣。其仁千所感如此。
賜以東園祕器，朝服一襲，錢三十萬，布百匹。詔曰：
「征南大將軍南城侯祜，蹈德衝素，思心清遠。始在內職，值登大命，乃心篤誠，左右王事，入綜機密，出統方岳。當終顯烈，永輔朕躬，而奄忽殂隕，悼之傷懷。其追贈侍中、太傅，持節如故。」
祜立身清儉，被服率素，祿俸所資，皆以贍給九族，賞賜軍士，家無餘財。遺令不得以南城侯印入柩。從弟琇等述祜素志，求葬於先人墓次。帝不許，賜去城十里外近陵葬地一頃，諡曰成。祜喪既引，帝於大司馬門南臨送。祜甥齊王攸表祜妻不以侯斂之意，帝乃詔曰：
「祜固讓歷年，志不可奪。身沒讓存，遺操益厲，此夷叔所以稱賢，季子所以全節也。今聽復本封，以彰高美。」
初，文帝崩，祜謂傅玄曰：
「三年之喪，雖貴遂服，自天子達；而漢文除之，毀禮傷義，常以嘆息。今主上天縱至孝，有曾閔之性，雖奪其服，實行喪禮。喪禮實行，除服何為邪！若因此革漢魏之薄，而興先王之法，以敦風俗，垂美百代，不亦善乎！」
玄曰：
「漢文以末世淺薄，不能行國君之喪，故因而除之。除之數百年，一旦復古，難行也。」
祜曰：
「不能使天下如禮，且使主上遂服，不猶善乎！」
玄曰：
「主上不除而天下除，此為但有有父子，無復君臣，三綱之道虧矣。」
祜乃止。
祜所著文章及為《老子傳》並行於世。
襄陽百姓於峴山祜平生遊憩之所建碑立廟，歲時饗祭焉。望其碑者莫不流涕，杜預因名為墮淚碑。荊州人為祜諱名，屋室皆以門為稱，改戶曹為辭曹焉。
祜開府累年，謙讓不闢士，始有所命，會卒，不得除署。故參佐劉儈、趙寅、劉彌、孫勃等箋詣預曰：
「昔以謬選，忝備官屬，各得與前征南大將軍祜參同庶事。祜執德沖虛，操尚清遠，德高而體卑，位優而行恭。前膺顯命，來撫南夏，既有三司之儀，復加大將軍之號。雖居其位，不行其製。至今海內渴佇，群俊望風。涉其門者，貪夫反廉，懦夫立志，雖夷惠之操，無以尚也。自鎮此境，政化被乎江漢，潛謀遠計，闢國開疆，諸所規摹，皆有軌量。志存公家，以死勤事，始闢四掾，未至而隕。夫舉賢報國，台輔之遠任也；搜揚側陋，亦台輔之宿心也；中道而廢，亦台輔之私恨也。履謙積稔，晚節不遂，此遠近所以為之感痛者也。昔召伯所憩，愛流甘棠；宣子所遊，封殖其樹。夫思其人，尚及其樹，況生存所闢之士，便當隨例放棄者乎！乞蒙列上，得依已至掾屬。」
預表曰：
「祜雖開府而不備僚屬，引謙之至，宜見顯明。及扶疾闢士，未到而沒，家無胤嗣，官無命士，此方之望，隱憂載懷。夫篤終追遠，人德歸厚，漢祖不惜四千戶之封，以慰趙子弟心。請議之。」
詔不許。
祜卒二歲而吳平，群臣上壽，帝執爵流涕曰：
「此羊太傅之功也。」
因以克定之功，策告祜廟，仍依蕭何故事，封其夫人。策曰：
「皇帝使謁者杜宏告故侍中、太傅鉅平成侯祜：昔吳為不恭，負險稱號，郊境不闢，多歷年所。祜受任南夏，思靜其難，外揚王化，內經廟略，著德推誠，江漢歸心，舉有成資，謀有全策。昊天不弔，所志不卒，朕用悼恨於厥心。乃班命群帥，致天之討，兵不逾時，一徵而滅，疇昔之規，若合符契。夫賞不失勞，國有彝典，宜增啟土宇，以崇前命，而重違公高讓之素。今封夫人夏侯氏萬歲鄉君，食邑五千戶，又賜帛萬匹，谷萬斛。」
祜年五歲，時令乳母取所弄金環。乳母曰：
「汝先無此物。」
祜即詣鄰人李氏東垣桑樹中探得之。主人驚曰：
「此吾亡兒所失物也，云何持去！」
乳母具言之，李氏悲惋。時人異之，謂李氏子則祜之前身也。
又有善相墓者，言祜祖墓所有帝王氣，若鑿之則無後，祜遂鑿之。相者見曰：
「猶出折臂三公。」
而祜竟墮馬折臂，位至公而無子。
帝以祜兄子暨為嗣，暨以父沒不得為人後。帝又令暨弟伊為祜後，又不奉詔。帝怒，並收免之。太康二年，以伊弟篇為鉅平侯，奉祜嗣。篇歷官清慎，有私牛於官舍產犢，及遷而留之，位至散騎常侍，早卒。
孝武太元中，封祜兄玄孫之子法興為鉅平侯，邑五千戶。以桓玄黨誅，國除。尚書祠部郎荀伯子上表訟之曰：
「臣聞咎繇亡嗣，臧文以為深嘆；伯氏奪邑，管仲所以稱仁。功高可百世不泯，濫賞無得崇朝。故太傅、鉅平侯羊祜明德通賢，國之宗主，勳參佐命，功成平吳，而後嗣闕然，烝嘗莫寄。漢以蕭何元功，故絕世輒繼，愚謂鉅平封宜同酇國。故太尉廣陵公準黨翼賊倫，禍加淮南，因逆為利，竊饗大邦。值西朝政刑失裁，中興因而不奪。今王道維新，豈可不大判臧否，謂廣陵國宜在削除。故太保衛瓘本爵菑陽縣公，既被橫害，乃進茅土，始贈蘭陵，又轉江夏。中朝名臣，多非理終，瓘功德無殊，而獨受偏賞，謂宜罷其郡封，复邑菑陽，則與奪有倫，善惡分矣。」
竟寢不報。
祜前母，孔融女，生兄發，官至都督淮北護軍。初，發與祜同母兄承俱得病，祜母度不能兩存，乃專心養髮，故得濟，而承竟死。髮長子倫，高陽相。倫弟暨，陽平太守。暨弟伊，初為車騎賈充掾，後歷平南將軍、都督江北諸軍事，鎮宛，為張昌所殺，追贈鎮南將軍。祜伯父秘，官至京兆太守。子祉，魏郡太守。秘孫亮，字長玄，有才能，多計數。與之交者，必偽盡款誠，人皆謂得其心，而殊非其實也。初為太傅楊駿參軍，時京兆多盜竊。駿欲更重其法，盜百錢加大辟，請官屬會議，亮曰：
「昔楚江乙母失布，以為盜由令尹。公若無欲，盜宜自止，何重法為？」
駿慚而止。累轉大鴻臚。
時惠帝在長安，亮與關東連謀，內不自安，奔於并州，為劉元海所害。
亮弟陶，為徐州刺史
