1952年5月，林獻堂的秘書葉榮鐘赴日訪候林獻堂，並詢問有無回台計畫。林獻堂以詩回應：     

別來倏忽已三年，相見扶桑豈偶然，
異國江山堪小住，故園花草有誰憐，
蕭蕭細語連床話，煜煜寒燈抵足眠，
病體苦炎歸未得，束裝須待菊花天。

林獻堂思鄉何不歸故里？然而故里卻在蔣家的掌控下，雖想整裝回鄉，卻等不到清朗的菊花天。林獻堂自己刊布的《東遊吟草》，輯有他自1949年赴日至1951年間的詩篇，頗有助於我們了解他晚年的情思。在這本詩集中，有兩首與友人酬和的詩，約略透露了林氏何以執意羈身異地的訊息─—

其一、〈次鏡邨氏鐮倉晤談有感原韻〉      
歸台何日苦難禁，高論方知用意深，
底事兄弟相殺戮，可憐家國付浮沉，
解愁尚有金雞酒，欲和難追白雪吟，
民族自強曾努力，廿年風雨負初心。

其二、〈次鏡邨氏辛卯元旦爐邊感作原韻〉
亂絲時事任迍邅，夜半鐘聲到枕邊。 
底事異鄉長作客，忍遭浩劫未歸田。      
萬方蠻觸爭成敗，遍地蟲沙孰憫憐？
不飲屠蘇心已醉，太平何日渡餘年。

林獻堂以69歲之齡赴日養病，孤身寄寓扶桑，從此未再回台灣。1955年7月，他的次子林猶龍在台病逝，林獻堂雖哀慟至極，卻仍無歸意。

1956年9月8日，林獻堂病逝東京，享年76歲。在自己的土地上領導民族運動對抗日本長達20年的林獻堂，卻在魂縈夢牽的「祖國」來臨不久，避居海外，客死異鄉。林獻堂這段「廿年風雨負初心」的歷史，發人深省！

二二八事件後，台灣省長官公署改為省政府，林獻堂被聘為省府委員；翌年，台灣省通志館成立，由他擔任館長，然而他對政局頗感失望。1949年9月，林獻堂離台赴日，自我放逐，自署居處為「遁樓」，以明心跡。論者有人以為林氏避居日本，是對當時進行的土地改革不滿；他對土改雖略有微詞，但畢生慷慨捐輸從事民族運動的林獻堂，豈真在乎被「三七五減租」嗎？林獻堂這首題為「菜頭」（蘿蔔）的五言絕句，或許才是他離台的心情寫照：

埋頭人不見，豈是為逃名？
祇恐渾荊棘，徒傷雪玉清。

林獻堂若不流亡海外，恐怕就難逃接踵而來的白色恐怖，而真要「徒傷雪玉清」了！然而，避開白色恐怖的林獻堂，卻仍憂慮著蔣家統治下的台灣政局。他這首七言絕句，即反映對時局的擔憂：

軍政紛紜似亂絲，黎民飢餓苦安之。
風濤萬里重洋隔，欲吐哀音只賦詩。（〈步文方君冬日雅集房韻〉）

林獻堂處境之危險不言可知。在風聲鶴唳、菁英紛紛遭捕殺之際，他寫了〈二二八事變感懷〉的詩，發表在警總參謀長柯遠芬創辦的《正氣》月刊，可以看出那是向當局交心輸誠的無奈之作，全詩如下：

光復欣逢舊弟兄，國家重建倍關情。
干戈頓起誰能料？消息傳來夢亦驚！
全島幾難分黑白，大墩（台中舊名）有幸自昏明。
從茲綏靖多良策，不使牝雞得意鳴！

林獻堂這首表態詩，引起《正氣》月刊上多篇唱和詩，清一色都是在迎合當局。不過他的秘書葉榮鐘，卻寫了一首幾乎是在反駁林詩的唱和詩，或許這才是林獻堂內心的真實感覺？葉詩如下：

莫漫逢人說兄弟，鬩牆貽笑最傷情，
予求予取擅威福，如火如荼方震驚，
浩浩輿情歸寂寞，重重疑案未分明，
巨奸禍首傳無恙，法外優遊得意鳴。