過了一兩天，李淵、李建成、李世民商酌著，大軍不宜在渭北耽擱太久，故而瞅準時機，分兵渡過渭水，浩浩蕩蕩圍攻長安。他們精心做了周密部署，原以為會有一場惡戰，不曾想也隻是些不成氣候的小打小鬧，甚至還有城門守兵厭戰不已，居然罔顧主將命令，主動開門投誠，除了東、北兩城門還算有過一兩場激戰之外，大抵都是幾乎不費吹灰之力就直搗皇城，隋帝楊廣留在京城的美女珍玩等盡被李家父子據為己有，或賞賜功臣，或充作後庭。
不過，為了彰顯天下為公之心，李淵父子特地頒布法令嚴肅軍紀，是以當大軍進得長安時，集市如舊，毫無慌亂之象，百姓們也都各安其命，仿佛這外麵的一切都與他們無關一般。同時，李淵父子還召集群臣，力陳楊廣寵信奸邪、奢靡荒蕩、上不安社稷下不存萬民、好兵以爭名多動以費民等諸多罪狀，慷慨陳詞，飛揚激昂，並向天下人表示為匡扶朝綱，去汙納清，遂擁立楊廣之孫楊侑為帝，尊楊廣為太上皇，共圖中興，再造清晏盛世，而群臣百官，凡忠儉清正之士皆官職不奪、俸祿照舊，一切一如從前。
但話雖如此說，可留守京城之百官誰不知道天地已換，李淵已是無冕之王。他們有的感歎世事如局，有的早已視作稀疏平常，除少數幾位還念著隋廷恩典奈何力不從心唯有稱病隱退之外，大多都隨波逐流，向新朝效忠。縱是楊侑，雖還是個十幾歲的孩子，可也明白自己不過是個傀儡而已，奈何力微勢薄，也隻能任由擺布，過一天算一天。就在他剛登基的當天，就遵從李淵的意思，下旨大大表彰了下李淵父子的忠誠仁善，並晉封李淵為唐王、大丞相、尚書令，同時封李建成為唐王世子，李世民為秦國公，李元吉為齊國公。
而李世民也不忘對房玄齡的承諾，多次向父親進言，希望父親委以重任。李淵隻好再次召房玄齡奏對，可依然如上次一般，並未看出其有特別的過人之處，而其軟綿綿的性子著實讓李淵討厭不已，但礙於是自己的兒子舉薦，雖不曾明表不滿，但也在事後否決了李世民的提議，隻說“世民你向來文事不精，此人文采不錯，又算得上博學，正好你就留在身邊，作為老師好好教導教導你吧”。話既已至此，李世民也不便再說，隻好低頭應了，卻心裏始終覺得愧對房玄齡，自然少不了多加禮遇。
殊不知這倒正遂了房玄齡的心意，他思忖半晌，索性一並把杜如晦引薦給了李世民，同時給薛收去信，誰知薛收卻答“知人知麵難知心，兄長不過是初識，數麵之間怕難一窺究竟，小弟還是想再等些時日，若果真如兄長所言，小弟到時再投不遲”，房玄齡雖不解其意，但也不便勉強，隻好由他。
自此後，房玄齡、杜如晦二人便常年居住在李世民府中，而長孫舜華的兄長長孫無忌以李世民妻族之故，也常來府中做客，他也是飽學之士，自然常常與房、杜二人辯論暢談，偶爾李世民有空也會加入進來，如此一來，幾人更是投契。
且說長安之勢，雖新朝過渡還算平順，但一山不容二虎，天下隻有一個，群雄豈肯眼睜睜地看著李淵坐擁長安，挾天子而令天下？隻是雄踞中原的竇建德、劉武周、李密、王世充等人或未來得及西顧，或礙於山川之險難以一馬平川，或互相傾軋戰事膠著，倒是同在關中起兵，且已於秦州稱帝的薛舉仗著相鄰，就在李淵奪了長安不久，親率十五萬大軍進逼長安，號稱二十萬，意欲一舉滅之。
其實這薛舉早於李淵起兵，早就是關中一霸，也和李淵一樣，都存的是奪長安令天下的想法，而且薛舉大本營就在關中，與李淵的晉陽相比，距離長安算得上是咫尺之遙，可不知為何，竟一直拖著計劃不行動，直到拖著李淵成了長安的主人。薛舉聞此怒不可遏，再也顧不得許多，就親率大軍來攻。
麵對來勢洶洶的薛舉，李淵不敢小覷，馬上派出李世民出戰迎敵。
查看軍情之後，李世民認為，薛舉雖然兵勢強盛，但上下心誌不一，絕非鐵板一塊，便分兵誘之，各個擊破，居然把薛舉打得大敗，拖著殘兵敗將逃回秦州。薛舉從此就對李世民畏懼起來，甚至想偃旗息鼓，退出關中，放棄爭奪天下的打算，幸被部下勸住。
而在此戰中，最為勇猛的當屬李世民親自訓練出來的“玄甲軍”。從西取長安到現在，這支“玄甲軍”的威力逐步凸顯，終於因此戰而一舉聞名、響徹關中。對此，李世民越來越滿意，但此後對“玄甲軍”的嚴訓仍未懈怠。戰果傳到長安，李淵喜不自勝。