回雁峰是南嶽群峰從南到北的第一座，雄居八百里南嶽72峰之首，故稱南嶽第一峰。因北雁南來，山形似鴻雁昂頭欲飛而得名，古城衡陽亦因此峰，冠以「雁城」雅稱。回雁峰景區屬於集錦式園林，擁有衡陽古八景之冠「雁峰煙雨」，瀟湘古八景的「平沙落雁」以及雁峰寺、回雁亭、上達牌坊、大雁銅雕等景點。

煙雨池為衡陽古八景之冠，「雁峰煙雨實堪誇」所描述的所在地。天欲雨時，池中水氣裊裊升騰，縈繞山峰，如煙似霧，宛如仙境，因此，回雁峰又名「煙雨山」。平沙落雁是瀟湘古八景之一。源於唐宋時期，秋天將至，北雁南行，至衡陽便不再南飛。此時湘江河畔，堤岸無垠，細沙如雪，蘆葦搖曳，雁群在此棲宿、覓食、嬉戲，盡顯平沙落雁的蒼茫秀美。

「南天第一剎」雁峰寺，始建於梁天監12年，迄今已有1,400多年歷史。宏宣法師南來，選回雁峰創建寺院。寺院分前後兩殿，一進為觀音殿，二進為壽佛殿，殿內供奉著「壽佛」菩薩。相傳壽佛出生於唐朝，號宗慧，享年133歲，百姓稱他「無量壽佛」。他生前四處雲遊，傳經佈道，曾留一件袈裟在雁峰寺。傳說明清之際，又轉世為高僧，駐錫雁峰寺，傳經說法，故有「壽佛五百年轉雁峰」的說法。寺門楹聯寫有「五百年化身歸來，十方福地斯為美，七二峰從頭數去，千古名山不在高。」

回雁亭位於山頂，主亭似雁頭，兩邊平亭尤若雙翼，亭正面朝北方，表達大雁北歸，心向北方思鄉之情。亭中懸掛「回雁」匾額，相傳是破門和尚所書。破門，號石浪，明崇禎十年進士，明亡後至南嶽出家，任雁峰寺住持。居衡山20餘年，以詩文自娛，工草書，為清初名書法家之一，與石濤、石溪齊名，有「三石」之稱。

回雁峰山雖不高，但因美景名勝，歷代文人詩聖杜甫、詩豪劉禹錫、柳宗元、王安石、文天祥、范仲淹等，皆到此留下讚譽佳句：「青天七十二芙蓉，回雁南來第一峰。」與「雁陣驚寒，聲斷衡陽之浦。」回雁峰文因景成，景藉文傳，名揚天下。