這下李淵沒話說了。他費盡苦心的隔絕太原與樓煩的聯係，就是為了給楊霖那小子創造時機，使其一舉拿下晉陽。到那時候他就主動了，怎麼處理晉陽、怎麼收拾王威，甚至怎麼糊弄皇帝還不是他跟楊霖商量著辦，演場大戲的事？至於突厥犯境、王仁恭被圍關他李淵什麼事？這天下是姓楊的又不是姓李的，李淵早就過了當憤青的年紀，凡事沒有好處他才懶得理會，所謂北上抗突不過是拖住王威的一個說辭罷了。
可惜千裏之堤毀於蟻穴，一條漏網的臭魚腥了李淵的一鍋湯。王威得知了楊霖造反的消息哪裏還坐得住？當場強硬的要求李淵立即與他一起回軍平叛，可是李淵堅決不肯答應，堅稱所謂叛軍不過蟊賊流寇借楊逆之名生事，還是突厥犯邊更重要，必須北上援助馬邑。兩人爭執不下，又不約而同的不願分道揚鑣、堅決要把對方拉入己方陣營。這一吵就吵了好幾天，不但李淵和王威吵，河東軍和右侯衛也在吵，而且差點動了手，直到晉陽那邊有更多的消息傳來，這才吵不下去了。
自從得知太原出了事，王威二話不說派出騎兵打通驛道，李淵手下的那幫假土匪隻好退避三舍，於是很快就有最新的消息傳來：高君雅輕軍冒進中了埋伏，萬餘府兵全軍覆沒，高君雅這個蠢貨也兵敗被俘，晉陽成了空城一座，危在旦夕。
這回李淵沒話說了。他畢竟是太原留守，要是連晉陽老窩要丟了都無動於衷，還梗著脖子非得去跟突厥人較勁，這場戲就演不下去了，王威不跟他拚命才怪。於是大業九年十一月初七，太原正副留守李淵和王威統率四萬大軍回援晉陽，當全軍急行兩晝夜終於趕到晉陽城下，累得跟灰孫子似的趴在地上喘得有上氣沒下氣的時候，眼前的景象讓所有的人都麵麵相覷，全都傻了眼。
隻見晉陽城頭仍然高掛著隋字大旗，零零散散的幾個慵懶的守兵也都穿著隋軍的土黃色衣甲，城門也一如從前那般大敞四開，進出的百姓來來往往，一個個用奇怪的眼神瞅著這幫閑著沒事把自己跑成死狗的傻大兵，臉上沒有半點害怕和恐懼的神色。而在官道旁的一座草棚之下，一小隊人馬立在那裏恭敬的迎候著這支軍隊的主將到來，為首一人不管是李淵還是王威都很熟悉，也都很奇怪：這不是竇琮嗎？他怎麼跑到晉陽來了？
……
話說楊霖自從坑了高君雅、攆跑了竇琮之後，就再沒幹過正經事。本來他的兵就不多，戰兵隻有一萬五千人，兩仗打下來戰損了千餘，竇琮帶走了三千人，盛彥師帶著一千多人在榆次改造俘虜，他就帶著剩下的不到一萬人滿太原郡的瞎溜達。
楊霖先是跑到了平城。平城在大業八年曾被河東巨匪甄翟兒攻破過，城牆到現在還到處都是窟窿，根本無法防守。當地的兩千多駐軍幾乎是抱著與城偕亡的決心背城結陣，準備跟來勢洶洶的叛軍拚個你死我活。誰想到或許是平城將士悲壯的氣勢震撼到了楊霖，他對著平城城下那個小小的步兵方陣發了一陣子呆，嘟囔了一句“都是一群死腦筋”，然後就領著目瞪口呆的部下退走了。
然後他又溜達到太穀。太穀本來駐有千把人的郡兵，不過高君雅傾巢而出救援榆次的時候，就近把太穀守軍都調到晉陽看老窩去了。太穀縣令實在沒辦法，破罐子破摔的把全城的男女老少都趕上了城頭，愛守成啥樣就守成啥樣他也不管了，一根繩子把自己吊在了縣衙大堂的梁柱上。結果楊霖帶人剛來到太穀城下就被嚇了一跳，城頭上邊密密匝匝的擠滿了老百姓，青壯男子們手裏拿著菜刀糞叉什麼的勉強還有個守城的樣子，那些婦孺們一手抱著孩子一手舉著磚頭瓦塊算個什麼意思？那些老漢老婆婆們顫顫巍巍的站都站不穩了，還把拐棍舉到腦袋上又是怎麼個情況？楊霖他們離著城牆還有百步之遙，那些戰戰兢兢的“守軍”們就把僅有的那點滾木礌石和灰瓶什麼的幾乎扔了精光，幾個年紀大的、曾遭過土匪禍禍的老人家，一看到這些漫山遍野、凶神惡煞的土匪蜂擁而來，情知守城無望，心灰意懶之下縱身跳了城，一時間竟然追隨者眾，太穀城下盡是人的肉體撞擊大地發出的恐怖悶響。
楊霖又是心酸又是懊惱，再一次的帶頭逃走。他的心情很是複雜，一方麵為大隋子民尚未泯滅的武勇和血性而感慨萬分，另一方麵也為自己這個反賊的身份和倒黴的運氣鬧心不已。這年頭反賊是一個很有前途的職業，在民間的名聲並不太壞，他親爹楊玄感就不用說了，就連張金稱、盧明月、格謙之類的泥腿子登高一呼，都能四麵景從、八方來投，占塊地盤、招幾萬人給自己打工簡單得跟玩似的。可是輪到他倒好，老百姓寧可自殺，官兵寧可決死一戰也不投降，甚至連說句話的機會都不給他，搞得他除了榆次連塊根據地都找不到，都快沒有隔夜糧了。