此時，營門突然敞開，屈突通和殷開山各率一支軍從兩側飛奔出來，喊聲震天。楊伏念見狀，大驚，以為唐軍主力要往後包抄自己，便慌忙喝令部隊快速撤退。秦叔寶明白這是秦王疑兵之計，也不追趕，隻命軍士迅速撤回營內。
沒過多外，秦叔寶和翟長孫就率軍回到營內。李世民親自前來為兩位將軍道喜，說此戰能斬殺萬餘賊軍便是大功。雖然如此，可秦叔寶心裏還是不大痛快，因為他既沒有打敗尉遲敬德，也未能把敵軍殺得落花流水，折其大半兵馬。在他看來此仗不能算獲勝，因而不好意思受賞。
這邊的秦叔寶是有賞不想要，而那邊的尉遲敬德卻是無罪也得受罰。宋金剛見楊伏念未能攻下唐營，反倒是損兵折將兩萬，氣就不打一處出。論理罪在主帥，然楊伏念身為左仆射，又是皇上的寵臣，他哪敢當眾責罰他呀。這樣一來，他就隻能把胸中的怒火撒在尉遲敬德這位偏將身上了。他當眾狠狠地責罵了尉遲敬德一頓，又決定把他綁起來打八十大軍棍。好在楊伏念出麵求情，才得以逃過此劫。
尉遲敬德為人純樸厚實，耿直仗義，平日對部下又好，因而深得他們的喜歡與愛戴。士兵們見自己的主將屢遭宋金剛無端責罰與欺負，心裏暗暗為他叫屈，為他抱不平。有幾個跟尉遲敬德私交不錯的副將趁一塊喝酒之際，鬥膽勸他率部下投靠李世民。尉遲敬德當麵聲色俱厲地喝斥了他們一頓，但心裏頭又認為他們的話頗有道理。
正所謂良禽擇木而棲，賢臣擇主而事。尉遲敬德清楚宋金剛、劉武周之輩隻是強盜賊首，終難成大器，而秦王李世民英武神明，更兼德義廣播，不日當為天下之聖主。說心裏話，他很敬佩年輕有為的秦王，也想為他效命。然而，他骨子裏那份與生俱來的忠誠阻止了他這麼做。盡管現在宋金剛已經到了窮途未路，但他仍然不想背棄這個屢屢虧待自己的主帥。因此當有人勸他轉投李世民時，他斷然拒絕了，並反過來勸他們繼續忠於宋王。
然而，並不是每個人都能像尉遲敬德這樣在危難之際依然心若磐石，矢誌不渝。定楊軍中不少士兵因麵臨斷糧受饑而情緒騷動，漸生逃跑降敵之心。楊伏念、尋相等將領探得軍心生變，就慌慌張張地向宋王稟報。宋金剛聽後，勃然大怒，欲用暴力進行鎮壓部下反叛，卻給楊伏念勸阻了。
“倘若宋王派人四處捕殺那些心生異誌者，那隻會引起更大的騷亂，引起更多士兵背離您啊！”楊伏念進諫道，“如此，軍心必大亂，宋王危矣！”
“若不加以製止，任由他們逃跑降敵，不出幾日，本王五萬兵馬就所剩無幾了，這不同樣危在旦夕嗎？”宋金剛陰沉著臉說。
“宋王言之有理，今將士離心，軍心浮動，確實是危在旦夕呀！”楊伏念歎息道，“然這也不能全怪罪他們，今我軍被困於柏壁已近五個月，且軍中糧草將盡，即將麵臨饑餓和死亡的威脅。生，乃人之本性，誰不想方設法逃命呢？故而，軍士人心惶惶，蠢蠢欲動，這也是情理之中的事呀！”
“楊大人說的也不無道理。”宋金剛想了想說，“今軍心渙散，士氣低落，皆無心守關。而唐軍氣勢正盛，咄咄逼人。這……我等該如何是好？”
“辦法倒是有，就是不知宋王肯聽否？”楊伏念兩眼盯著宋金剛，若有所思地答句。
“什麼辦法，請楊大人直說吧！”宋金剛眼睛一亮，連忙高聲問道。
“撤出柏壁關，回師太原。”楊伏念簡短地回答句。
“這……這怎麼行呢？”宋金剛遲疑地說道，“我軍自鄯陽一路殺來，好不容易才到達柏壁。今眼看可殺入長安，活捉李淵，怎可無功而返？”
“是啊，宋王，在下也不忍心丟棄柏壁呀！”楊伏念微蹙雙眉，輕歎一聲說，“可事已至此，我等若不趁早撤走，恐為李世民所擒哪！”
“李世民今見我軍屢敗，且缺糧少草，必會乘機率軍前來挑戰。如此，我軍可與之背水一戰，到時說不定能轉敗為勝！”宋金剛不死心地說句。
“宋王，李世民不可能出戰！”楊伏念兀自搖頭說道，“唐軍自入柏壁以來，其主力一直堅守不戰，隻遣小股兵力伺機襲擾，斷我糧道。其目的就是想將我軍困在柏壁關，待糧盡而自退。今唐軍雖勝，然李世民並沒乘機率軍追擊，這足以說明他無心出戰。故而，宋王想待唐軍主動出擊，與之決戰，是根本不可能的事。今我軍糧草尚有，軍心未散，可趁機引兵北撤，前往太原與皇上共同禦敵。在下以為，此乃上策，不知宋王意下如何？”