戰爭初期，薛仁杲占據扶風，李淵審時度勢，考慮到扶風特殊的地理位置，派次子秦王李世民前去解扶風之圍，薛仁杲兵敗，傷亡數千人，隻得退回隴右。扶風戰役失敗，使薛舉開始重新考慮時局，與朝中大臣共商國事，就是否應該投降發問道：“古來天子有降事否？”對此朝中大臣意見不一，黃門侍郎諸亮以越帝趙佗、蜀後主劉禪、近代肖琮為例，主張投降，他認為隻有投降才能轉禍為福。而曾被薛舉在起義前拘捕，又被得以重用的衛尉卿郝瑗以漢祖、蜀先主為例說明，勝敗乃兵家常事，不應因一戰失敗就做投降敵人的亡國打算。薛舉聽後深感慚愧，以為郝瑗之言甚是有理，不但對其進行厚賞，而且不計前嫌，把郝瑗引為謀士，對他的謀略言聽計從。麵對戰敗後雙方兵力上的差距和寡不敵眾的現狀，薛舉聽從郝瑗的東聯梁師都，共為聲勢的建議，派使節帶大量錢財賄賂突厥莫賀咄設，請突厥出兵與薛軍攻打長安，爭奪天下。重金之下，莫賀咄設答應了西秦使者的要求，製定了薛軍先出兵，突厥軍隨行的軍事計劃。然而，西秦使者賄賂莫賀咄設之時，唐都水監宇文歆正出使突厥。當唐使得知了這一重要軍事行動之後，同樣用金帛賄賂突厥，使莫賀咄設反悔，拒絕與西秦聯合。西秦與突厥聯兵共同攻打唐軍的計劃破產，薛舉處於劣勢。
九九歸一
唐武德元年（618年）六月，唐豐州總管張長遜率軍進擊宗羅。薛舉親自帶兵前去救援，軍屯高墌（今陝西省長武西北），先鋒到了幽州（今陝西省彬縣）、岐州（今陝西鳳翔）。秦王李世民據守，此時的李世民估計薛軍糧少，利在速戰，所以采取了堅壁不戰、等待對方疲倦的方略，拒不出兵。以此達到不傷一兵一卒，而又能拖垮薛軍的目的。戰爭陷入僵局，薛舉一籌莫展。但是後來李世民生病，把指揮權交給長史劉文靜、司馬殷開山，並叮囑二人要嚴守城池，不得擅自出兵。然而在李世民回京養病之後，二人卻不聽勸告，為搶占軍功，一意孤行，擅自出兵攻打位於高墌西南的薛軍大營。薛舉抓住機會，率軍截斷唐軍的後路，前後夾擊，使其腹背受敵，唐軍大敗，死傷慘重，撤回長安。薛軍乘勝進軍攻占寧州（今甘肅省寧縣），挽回敗局。唐軍無力抵抗，處於劣勢，李淵甚至做出了準備遷都以避其鋒芒的計劃。
麵對這一大好形勢，郝瑗上書：“今唐軍新敗，將帥並擒，京師騷動，可乘勝直取長安。”薛舉接受了這一建議，準備攻打長安，誰知此時薛舉卻突然得重病，未曾出師便死在了折墌城（今甘肅省涇川東北），不久郝瑗也病死，西秦的政治大廈搖搖欲墜，危在旦夕。失敗後的唐軍，為鞏固新成立的唐王朝，徹底清除西北隱患，派人聯絡割據涼州的李軌，封其為涼王，準備東西夾擊薛軍。當李淵得知薛舉已死，便命其子李世民再次率軍攻打薛仁杲。薛仁杲派大將宗羅率軍10萬迎擊，雙方激戰，各有勝負，唐軍與宗羅軍在高墌相持60餘日。到十一月，薛軍糧草供應不足，將士離心，又有內史令翟長孫、將軍梁胡郎等率部投降唐軍，兵力削弱，李世民乘機攻打，薛軍大敗，薛仁杲被迫投降，曾經雄踞一方的“西秦”王朝滅亡了。
薛舉雖然失敗了，但他依然是曾經崛起於隴上的英雄，曾經輝煌過的西秦霸王。