幾經周折，袁文終於跟著聶衝遠回到了衡山回雁峰。
關於回雁峰名稱的來曆，有兩種說法。
相傳北雁南來，從秋到春，不再向南飛過這座山峰，在這暖和適宜的地方度過寒冷的冬季，待春汛到衡陽，仍然往北飛回，所以叫回雁峰。北宋大家王安石詩雲：“萬裏衡陽雁，尋常到此回。”從此，回雁峰名聲遠播。還有一論，是以山峰的形狀得名，說它整個地貌，就象一隻鴻雁伸頸昂頭，舒足展翅，將要騰空飛翔的氣勢。這兩種說法相輔相成，遂使它步入天下名山盛景之列。
唐代詩人王勃在《滕王閣序》中寫道：“雁陣驚寒、聲斷衡陽之浦。”可見回雁峰之名，在唐時以前已為世人所知。明代詩人陳宗契（衡陽人）《詠南嶽詩》：“青天七十二芙蓉，回雁南來第一峰。”可見回雁峰雖然不高，但作為南嶽七十二峰之首，已早為地方史冊記載。
袁文初到衡山派，很多人都不認識，而衡山派的幫規也完全不知。因此聶衝遠少不得先給他說些本門門規之類的東西，但袁文隻得口上敷衍，心中卻完全沒有在意。之後聶衝遠讓他去見過各位師叔，隻是他雖然一一見了，卻也都沒有什麼印象，除了大師叔彭科彪早就認識之外，就隻有五師叔祝無雙還有點印象。因為這人與別人相比有些特別，他臉上從左至右有一條長長的疤痕，看起來十分猙獰恐怖，袁文第一眼看到，便不由得嚇了一大跳。
好不容易才見完那些師叔長輩之類的重要人物，天也黑了下來，袁文本已十分困乏，剛要打算回去休息，這時大師叔彭科彪又帶來一人說道：“文兒，給你介紹一個你同鄉認識。你們都是長沙人，以後更要相互幫助才對。”
袁文一聽那人與自己一樣，也是長沙人，自然十分好奇，誰知回頭一看，立馬嚇得倒退數步，原來那人正是長沙幫幫主賀雲飛的兒子賀方，也就是和顧紅顏打架之人。兩人以前曾在同一私塾讀過書，賀方比袁文大三歲，今年十八，又一表人才，學文習武都很快，經常欺負袁文，因此袁文十分怕他。
彭科彪並沒有發現袁文臉色有些難看，對賀方說道：“方兒，快上去見過袁師兄。”賀方此時已拜彭科彪為師，但比袁文入門稍晚一些，因此雖然賀方年長，卻仍然是師弟。
賀方走上前去，一臉壞笑地看著袁文道：“師弟賀方見過袁師兄，還請袁師兄以後多多指教。”
袁文一見到賀方那得意的樣，心裏更加不安，想起以前被賀方欺負的情景，心中不免有些生氣，恨不得上去揍他一拳。他這樣想著，突然被蝙蝠咬傷的那根手指上傳來一股陰涼地氣流，一下子流遍袁文全身。隨著陰涼氣流在袁文身上不斷流竄，袁文的身子也不停地顫抖起來。雙手不停亂抓，牙關直格格作響，竟而怒氣中燒，一下子心中便有對賀方恨之入骨的感覺，幾欲衝上咬賀方一口。起初袁文還能憑借自己的意誌勉強控製住自己。可體內那股氣流在他身體裏越流越快，自己衝動的欲念也就越來越強。
彭科彪此時也已發現袁文有些不對，因為他在袁文身上能清楚地感到有一股濃烈的殺氣散出，竟然與古墓天使出倚勢劍魂時的殺氣有幾分相似。他本來不知道袁文與賀方有過節，所以也猜不出是什麼原因。終於，袁文再也控不住自己，突地向賀方猛衝過去。