話說衛可清領了父親密計，便至城下，單要統軍出戰，再叫軍士辱罵以激之。統軍大怒，挺身出戰。戰了數合，可清佯敗而走。統軍不舍，追有裏許，伏兵齊起，將絆馬索曳翻馬腳，統軍被擒。眾兵將他綁了，推至城下，據其二子道：「來降免死，不來即斬你父。」賀拔允弟兄見了，嚇得魂飛天外，飛馬出城，高叫道：「勿傷吾父，願相從也。」眾兵把統軍擁入軍中。
賀拔允兄弟直至營前，下馬求見。可孤父子忙到帳外相迎。斯時統軍已釋縛上坐，見二子至，揮淚道：「勢已如此，隻得在此投順，但負了楊將軍耳。」
可孤大喜，一麵款留父子在軍，一麵便去攻城。城中連失三將，慌亂起來。
半夜城破，人民被殺，楊鈞一門盡死。可孤破了懷朔，便請統軍寫書，以招破胡。統軍許之。
那知破胡將近武川，前一日其城已破。正是烽煙交迫時候，破胡慌了，帶轉馬頭，忙即奔回。正行之間，望見前麵一隊兵來，上書「賀拔統軍」旗號，心下疑道：「我父親為何在此？」勒馬問之。隻見一少年將軍出馬拱手道：「統軍不在這裏。我是衛可清，奉主命來請將軍。有統軍手書在此。」
便叫軍士呈過。破胡看了，果是父親手筆，歎道：「父兄既在彼處，我複何往。」遂下馬與可清相見，並馬而回，來見可孤。可孤下座，握其手曰：「他日富貴，願與將軍共之。」破胡拜謝。少頃，來見統軍，兄與弟皆在帳中。
相見後，各自歎息，隻得權時住下，再圖機會。
其時臨淮王不知兩處已失，領兵前來。行近朔州，遇著拔陵兵馬，被他殺得大敗，依舊退回雲中。安北將軍李叔仁領兵五萬，亦來救援，屯兵於白道穀口，拔陵乘夜襲之，亦大敗而退。朝廷知臨淮、叔仁軍敗，皆削其官爵，命李崇為北討大都督，鎮恒、朔以禦強寇。撫軍將軍崔邏皆受其節製。崇欲停軍固守，且莫與賊交鋒，伺其便而擊之。邏不遵崇令，引兵先出。正遇賊帥衛可孤，邀截大戰，殺得官軍死者死，逃者逃，崔邏單騎奔還，折了十萬人馬。可孤使人飛報拔陵，陵大喜。乘勝而前，又催各道賊兵並力來攻李崇。
崇力戰卻之，遂相持於雲中。崔邏兵敗，李崇奏知。帝方不悅，又有雍州刺史元誌上奏：「莫折念生與弟天生反於秦州，攻破高平鎮，殺了鎮將赫連略，官兵莫敵。」帝益懼，因念：「母後臨朝，天下未嚐有事，今反亂想繼，無人為朕分憂。」屢欲往見太後，苦為劉騰所製。那知騰惡滿身死，左右防衛漸疏。叉亦不甚經意，時時出遊於外，留連不返。帝後母子複得相見。
正光五年，帝年十四，頗悔從前所為得罪太後。時值中秋節近，率諸王貴臣等十餘人，朝太後於嘉福殿。時元叉不在。太後設宴留飲，酒過數巡，太後對帝及群臣曰：「我自還政後被幽於此，子母不聽往來，雖生猶死，何用我為？我當出家修道於嵩山，閑居寺中，以了終身。」因自卸發，欲將金剪剪去。帝及群臣皆叩頭流涕，慇懃苦請。太後聲色愈厲，必欲出家。帝乃使群臣皆退，獨留嘉福殿，與太後共語。太後細訴從前被幽之辱，思念之苦。
太後泣，帝亦悲不自止。是夜，遂宿太後宮中，明日亦不出宮，與太後坐談至夜。太後曰：「今夕中秋佳節，可召皇後、潘妃到來，共賞良宵。」帝曰：「兒與太後相疏已久，遇此良夕，當侍太後細談衷曲，不必召彼來也。」太後見帝意誠，乃於月下密語帝曰：「自元叉專政，朝綱大壞，以致人心愁怨，盜賊四起。今若不早除之，天下必至大亂，社稷將危。帝何尚不知悟耶？」