其他許多將領都紛紛附會裴寂，李淵也讚同裴寂等人的意見，打算暫時回太原。
隻有李世民不同意，他急忙說：“劉武周稱帝之後，位極而自滿，他暫時無力也無意南下。突厥人多疑而貪利，雖與劉武周勾結，不過是互相利用，內心卻各有猜忌。那突厥人怎麼可能近舍馬邑而遠圖太原呢？劉武周深知此情，未必與之同謀。而且朝廷既聽說我等起兵，正調兵遣將，紛紛趕至通往西京的路上。我若一鼓作氣，挺進長安，則隻有迎麵的守軍相拒。若是此時退兵，突厥人、劉武周反而會不謀而至，宋老生、屈突通也會追奔而來，我軍必陷於首尾受敵、四麵被圍的窘境。進無所入，往無所之，害怕溺水卻先被淹死，如此後果，讓人不寒而栗。”
李建成、唐儉、長孫順德等人極力讚同李世民之見，力主義無反顧，長驅西進。
見李淵多時沉吟不語，李世民又說：“如今滿山坡都是莊稼，不愁人馬缺糧少草。李密在洛陽一帶，既為隋軍所牽製，又戀著宛洛一帶的幾個大糧倉。而宋老生此人，驍勇有餘，卻暴躁無謀，破之不難。是西進而成就霸業，還是退縮而身敗名裂，在此一決。有人保家愛命，所以請歸。兒等願捐軀力戰，鼓噪而前。還請父帥且勿猶豫，雨停之後，即發兵霍邑。兒等若不殺宋老生以取霍邑，情願以死謝罪。”
盡管李世民說得慷慨激昂，口幹舌焦，但老成持重的李淵，還是要以保住太原為根本。他認為裴寂說的有一點十分重要，那就是萬千將士的家眷都在太原。至於李世民的話，雖說也有幾分道理，但畢竟是初生牛犢不怕虎，憑著年輕人的熱血，將複雜紛紜的戰事看得太簡單，勇氣有餘，而穩健不足。
李淵不再理會李世民和李建成他們，看看眾人說：“不要再爭了，我意已決。今日傍晚，大軍便拔寨回師。西取長安，也不在這一朝一夕，以後可慢慢圖之。”
晚飯之後，雨勢略減，但還在淅淅瀝瀝地下個不停。李建成的左軍已陸續拔營，踏著泥濘，垂頭喪氣地向北迤邐而返。
李世民心急如焚，他認定此一去將再無西征之日，數月之中嘔心瀝血促成的舉義大事，就這樣功敗垂成，毀於一旦。他不甘心，要繼續拚死力爭。因此，李世民下令他所率領的右三軍，繼續穩守營寨，沒有他的命令，一兵一卒不得北歸。
當天夜裏，李世民又來到了父親李淵的營帳。李淵裝睡不肯見他。李世民在帳外雨中徘徊，他想到這次撤軍而去，不僅僅是舉義大事將化為泡影，弄不好還會全軍覆沒，不禁亂箭攢心，失聲痛哭起來。
李淵蒙矓中突然聽到哭泣之聲，故意問左右：“是誰在帳外啼哭？”
“回唐公，二公子。”一個侍衛答道。
李淵大驚，霍地翻身坐了起來，讓人把李世民召進帳來。
其他許多將領都紛紛附會裴寂，李淵也讚同裴寂等人的意見，打算暫時回太原。
隻有李世民不同意，他急忙說：“劉武周稱帝之後，位極而自滿，他暫時無力也無意南下。突厥人多疑而貪利，雖與劉武周勾結，不過是互相利用，內心卻各有猜忌。那突厥人怎麼可能近舍馬邑而遠圖太原呢？劉武周深知此情，未必與之同謀。而且朝廷既聽說我等起兵，正調兵遣將，紛紛趕至通往西京的路上。我若一鼓作氣，挺進長安，則隻有迎麵的守軍相拒。若是此時退兵，突厥人、劉武周反而會不謀而至，宋老生、屈突通也會追奔而來，我軍必陷於首尾受敵、四麵被圍的窘境。進無所入，往無所之，害怕溺水卻先被淹死，如此後果，讓人不寒而栗。”
李建成、唐儉、長孫順德等人極力讚同李世民之見，力主義無反顧，長驅西進。
見李淵多時沉吟不語，李世民又說：“如今滿山坡都是莊稼，不愁人馬缺糧少草。李密在洛陽一帶，既為隋軍所牽製，又戀著宛洛一帶的幾個大糧倉。而宋老生此人，驍勇有餘，卻暴躁無謀，破之不難。是西進而成就霸業，還是退縮而身敗名裂，在此一決。有人保家愛命，所以請歸。兒等願捐軀力戰，鼓噪而前。還請父帥且勿猶豫，雨停之後，即發兵霍邑。兒等若不殺宋老生以取霍邑，情願以死謝罪。”
盡管李世民說得慷慨激昂，口幹舌焦，但老成持重的李淵，還是要以保住太原為根本。他認為裴寂說的有一點十分重要，那就是萬千將士的家眷都在太原。至於李世民的話，雖說也有幾分道理，但畢竟是初生牛犢不怕虎，憑著年輕人的熱血，將複雜紛紜的戰事看得太簡單，勇氣有餘，而穩健不足。