可是，不怕死的堯君素對大唐的購物券、“不死金券”一律不感興趣，依然憑城固守。同事情、戰友情都打不動堯君素的心，那就用親情去感化他。於是李淵又把堯君素的妻子送到了河東城下，讓老婆去勸說老公。他的老婆情真真、意切切地勸他說：“隋室已亡，天命有屬，君何自苦，身取禍敗。”可惜堯君素不是“妻管炎”，他不但不為所動，還在城頭大聲訓斥老婆：“天下事非婦人所知。”光訓斥還不算完，他竟拿起弓箭，對老婆“引弓射之”。堯君素可不像屈突通那樣，隻是做樣子似的“命左右射之”，他是自己親自挽弓搭箭，結果老婆“應弦而倒”。
不得不感歎：隋朝的愛國主義教育太成功了！一個中下級軍官，在皇帝已經死亡的情況下，還為了朝廷利益，可以舍棄一切，可以同事、朋友、老婆、孩子一個都不要，這種或曰瘋狂或曰執著的行為到底是對是錯？
此後，河東城在隋朝殘餘勢力的堅守下，繼續和唐朝對抗了很長時間，但由於內無糧草、外無救兵，城內處境很慘，甚至發生了“男女相食”的人吃人的現象。最後，堯君素被他嘩變的部下薛琮、李楚殺死。然而，正當薛琮、李楚兩人準備向唐朝投降的時候，堯君素的親信王行本又將薛、李二人殺死，繼續據守。一直到武德三年正月，王行本在走投無路的情況下才開門出降。但是，對於這種不識時務的偏執狂，李淵是不可能給他好果子吃的，他親自趕到河東將王行本斬首。自此，一直讓他掛懷的河東後院問題終於得到了徹底解決。
李淵稱帝建唐後，雄心勃勃地開始了統一全國的武裝鬥爭。唐政權建立初期，關隴附近主要存在三個較強的地方勢力，除了李淵集團外，另外還有金城（今甘肅蘭州）的薛舉和武威（今甘肅武威）的李軌。這兩人先後稱帝，在長安西部虎視眈眈，特別是緊鄰唐朝的薛舉，一直對長安有圖存之心。
薛舉是從金城府校尉的位置上造反的，造反資曆比李淵還要老，他造反好幾個月後李淵才從太原起兵。和許多造反者一樣，薛舉在扯起造反大旗那天就自稱“西秦霸王”，年號秦興。三個月後，又給自己加官晉爵——稱帝。帝王帝王，這兩字排在一起是一種意思，分開來意思區別可就大了。薛舉造反後一度形勢很好，連打了幾個大勝仗，軍隊發展到十三萬人，整個隴西之地都在他的兵鋒控製之下。
但是後來他想吞並位於自己西邊李軌的大涼政權，率部向李軌發起進攻，結果事與願違，他不但沒搶到李軌的地盤，反而被李軌打了個漂亮的防守反擊，奪走了他位於今天青海樂都、甘肅臨夏一帶的大量土地。這樣，他定都所在的金城就失去了一切保護屏障，直接暴露在李軌的武器射程之內。於是，他不得已將都城東移，以避開李軌的威脅。公元617年七月，他遷都秦州（今甘肅天水）。
由於向西發展的空間已被堵死，薛舉便一門心思東進。在東向拓土的征途中，他最輝煌的勝利是打敗了盤駐在今天陝西隴縣的擁有十萬之眾的唐弼，使自己的隊伍急速壯大，由先前的十三萬變成了三十萬，於是他積極備戰，準備繼續向東進攻長安。
當時薛舉三十萬大軍所在的位置是扶風郡（今山西鳳翔），離西京長安隻有三百裏路程，快馬一天就可以到達。正當薛舉準備劍指長安時，李淵已經捷足先登了。這應該是讓稱帝後的李淵想起來很後怕的一件事，因為如果他當時要按照裴寂的觀點，打下河東後再進攻長安，那首先進入長安城的一定是薛舉。所以，李淵及時拋開河東，搶“鮮”一步的決定是很英明的，再晚一點兒，黃花菜就涼了。
當薛舉聽說李淵已進入長安後，便暫時放下了東進的想法，轉頭圍攻扶風郡。動靜越鬧越大的薛舉引起了李淵的注意，他覺得要盡早打掉這股活躍在長安西院的“惡勢力團夥”。於是他派李世民率兵西進打擊薛舉。