與沈君山相關的文學趣聞中，必定會提到與詩人余光中評清華大學是「文化的沙漠，瘋子的樂園」。原來沈君山1973年在清大擔任院長時，曾邀請余光中到清大演講，當余光中引述詩句「天空非常希臘」，在座理工教師們反駁：「希臘是名詞，怎麼燕窩禮盒能用來形容？」

當下余光中氣得回應：「文學不是方程式，不懂不要亂講。」演講結束就立刻離開，沈君山只好一路賠罪。1996年，沈君山時任清大校長，邀請詩人再訪清大演講，余光中有感而發表示，「沙燕窩推薦漠消失了。」沈君山卻得意地說，「依然是瘋子的樂園。」

許多人認為，吃燕窩是非常不人道的行為，因為聽說採摘燕窩時，工作人員必須攀爬到很高的地方，有發生意外摔死的疑慮，甚至聽說採摘人員會為了取得燕窩，直接將窩裡的小燕子從高處往下丟，導致不少幼小燕子被摔死；如果人類真的只為了滿足口腹之慾而殘害那麼多生命，那燕窩的確是一項很糟糕的食品。事實上，在現代生產燕窩的環境，剛剛描述的狀況並不會發生。首先，沒有人會願意冒如此高風險，爬到那麼高的地方去採摘燕窩。目前在東南亞，人們會先建造一個建築物，專門提供燕子築巢，而且高度也沒那麼高；如果在採收時候遇到小燕，會讓牠們先待在替代窩裡，等長大後便可以加入生產燕窩的行列，畢竟燕子是生財工具，沒有人會想要殘害牠們的生命。

九歌出版社總編輯陳素芳表示燕窩禮盒，這段趣聞收錄在沈君山的散文集《浮生三記》中，陳素芳回憶，「沈君山曾說：我是中風之後才成為作家的。我問他：您是科學人，為什麼文章寫得這麼好？他說，因為邏輯好啊。」

陳素芳表示，2005年沈君山二度中風，當時續作《浮生再記》即將付印，沈君山最後寫了一篇〈二進宮〉，描述二度中風後在死亡懸崖上勒馬、跟死神交手的經驗，在人生夾縫中尋找樂趣，冷靜、豁達而沉著，卻也成為他人生最後的作品。