軍隊離霍邑還有五十多裏的路程。這時，李淵集團遇到了一些困難。由於連日來的大雨，使得軍隊不能前進，準備的糧食也快吃完，可是天卻一點也不見晴。
這些都沒什麼，最要命的是後院起火。在李淵集團停滯不前的同時，忽然接到探報劉武周勾結突厥，乘機襲擊晉陽，一場是進軍還是北還的爭論開始了。
李淵認為，時機未到，現在最要緊的是部隊必須立刻北還。
裴寂等人也認為，隋朝的軍事實力還很強大，不能再輕易冒險前進；李密老奸巨猾，他到底怎麼打算，也還不得而知，如果從側翼偷襲我們，那麼後果將不堪設想。劉武周更是不講信用，出爾反爾，唯利是圖。再加上太原是義軍的後方，那裏有充足的糧草。眾人都說不如回去先救根本，然後再想辦法出兵南下。
李淵決定第二天起兵返回太原。
李世民正在外麵巡邏，忽然聽士兵到處傳說明天要撤軍的消息，他馬上趕回大營，一問果真有此事，便闖進軍帳問李淵：“父親何故回軍？”
李淵說：“糧食已經快吃完了，目前形勢很難繼續逗留。劉武周如果把老家給搶了，咱們有家也回不去了。”
李世民勸阻道：“現在到處是成熟的莊稼，還怕找不到糧食？隋將宋老生生性輕躁，一鼓可擒。李密隻注意洛口，無暇顧及遠方。劉武周表麵上依附突厥，實際上互相猜疑；他雖然有窺視太原之心，但怎能忘記根據地馬邑？何況突厥剛和我和好，未必馬上就會背盟。這種傳聞不可輕信。父親興創業大義，有誌救民於水火，應當先入鹹陽，號令天下；現在遇到小敵就要班師，恐怕跟隨首義的眾人心灰意冷，各自散去，大事從此就完了。”
李淵搖頭道：“倘若晉陽有失，我們豈不是無家可歸了？我已經決定回去了。”
李淵急令收拾東西，準備撤軍。李世民出來邀約李建成，一起去說服父親。
李建成說：“我也不同意撤軍，但父親已作出決定，看來無法阻擋了。”
李世民見李建成支支吾吾，料想不會同去勸諫，又和裴寂等人商量，都說：“不如歸去。”李世民頓時惱恨萬分，連夜餐都吃不下去。李世民在帳外忐忑不安，大步入後營進諫，被李淵衛士擋住，說大將軍已經睡了。李世民悲憤填膺，眼看宏圖大業毀於一旦，忍不住痛哭起來，李淵聽到哭聲才召李世民入問。
李世民哭著說：“兵已出動，有進無退；進則生，退則死，怎麼不哭？”
李淵問怎麼會致死。
李世民說：“軍隊全靠銳氣，一旦退回，銳氣喪盡，隊伍潰散，敵人乘勢追擊，我軍土崩瓦解，怎能迎敵？這豈不是束手待斃嗎？”
經過李世民的勸說，李淵開始醒悟，很是後悔，歎息說：“左軍已經出發，怎麼辦？”
李世民說：“左軍雖然出發，想來還走得不遠，孩兒馬上去追回來。”
李淵笑著說：“成敗由你，你去追回來吧！”
李世民及李建成連夜追回左軍。一次關係唐王朝建立生死攸關的大爭論，以李世民的力主前進而結束。
應當說，李淵等人主張班師回太原，並不純粹是出於怯懦。客觀地說，晉陽的的確確是“義軍”的根本之地，即後方的供養中心。如果突厥和劉武周相勾結，掩襲太原，那麼南下入關也是很難的。但是，當時的形勢，正如李世民所分析的：突厥與劉武周之間，“外雖相附，內實相猜”，並未構成對晉陽的嚴重威脅。隻有“先入鹹陽”才能“號令天下”。退回太原，士氣大潰，就會有失敗的危險。顯然，李世民的進軍意見要比裴寂的退兵之計高明些。至於李淵，本來就想“西圖關中”，這個根本性的方針當然不會改變；但又懾於突厥，同意班師，說明他在用兵上過於謹慎。這與李世民“勇於有為”的作風有所不同。不過，李淵畢竟還有遠見卓識，“乃悟而止”，命令世民和建成追回已經後撤的部分隊伍。
過了兩天，沈叔安運來糧草，天氣也漸漸轉晴，李淵命士兵曝甲整械，全軍士氣高昂，繞行山麓，避開泥濘，往霍邑進發。