聶衝遠再也想不出什麼理由來挽留祝無雙，隻得眼睜睜看著他出門下山而去。
祝無雙走了許久，聶衝遠才緩緩從地上起來，接著便像灘爛泥一樣倒在掌門大椅上，思緒如亂麻一般。突然間，聶衝遠揚起右手，狠狠抽了自己幾個大嘴巴。
又過了一陣，賀方帶著彭科彪的其它小輩弟子也進來了。賀方是彭科彪的大弟子，聶衝遠知道彭科彪一向對自己的弟子十分愛護，見了些這種情形，更加急了。如果連這些小輩弟子也走了，衡山派可能就隻剩下衡山.而沒有派了。這樣想著，焦急萬分地問道：“連你們也要走？”
賀方聽了搖搖頭道：“不，師父曾經交待過：如果他走了，就讓我們拜師叔您為師，繼續學藝。”
聶衝遠聽了有些吃驚，問道：“你說你師父早就交待過？”
賀方道：“是。”
聶衝遠更加吃驚，他這時才明白，彭科彪其實早料到了這麼一天。可是他雖然料到了這一天，卻還是遭了暗算，理由隻有一個，就是他根本沒真想與自己爭奪掌門之位。聶衝遠這時才知道自己又犯了一個大錯誤，一個無法彌補的錯誤。
這樣的錯誤，他已經不止犯過一次了。
這樣的錯誤，還要繼續麼？
他不敢想。
他現在應該想的，是怎樣才能帶領因內鬥而受重創的衡山派走出困境。在這幾個月裏，衡山派一下子就失去了兩輩人。常無軒和龍陽真人仙逝，彭科彪等人又因內鬥傷得傷.死得死.還走了不少。如果此時遭遇外敵，衡山派隻有束手待斃，任人宰割。
龍陽真人雖然極力為衡山派掃除外敵，無奈真正讓衡山派衰敗的卻是內亂。
聶衝遠看了一下賀方等人，說道：“你們不用拜我為師，彭科彪依然還是你們的師父。隻是以後由我教授你們功夫便是，你們還是仍然叫我師叔吧！”
自此，衡山派便真地成為了聶衝遠的衡山，一個由他帶著一群小輩的衡山。衡山派自然也失去了龍陽真人在時那樣號召武林的聲勢。
聶衝遠每天仍然教這些弟子練功，不僅教他一人的弟子，還有彭科彪.雷進平.江慶等人的弟子，他們現在成了聶衝遠唯一的希望。
這些弟子練功也都很刻苦，隻是這些弟子之中，卻有一個另類，那便是袁文。自從他發過那個誓之後，便真地沒有再練過衡山派一招一式。他每天的任務便為師兄弟們做飯，然後晚上躲到地牢裏麵，去練倚勢劍魂和龍吟劍法等那些屬於他的武功。
隻是他的琵琶骨被常無軒鎖住，因此他無論怎麼練，也看不到一絲進益，依然像一個沒有練過武的人。其他弟子見他什麼都不會，因此根本不理會於他，都將他看作傻子一般。隻有顧紅顏例外。
顧紅顏一有空，便會跑到廚房去給袁文幫忙，她本是個農家孩子，對廚房鎖事再熟不過。兩人這樣一邊說笑，一邊做事，反倒引來無數弟子的嫉妒。