在隋軍各路平叛大軍進展順利的同時，黃明遠的主力已經逼近漢王楊諒的腹心地帶，準備進行最後的決戰。
黃明遠在占領蒲阪城之後，修整一日。九月九日，黃明遠將蒲阪城交給從鄭縣到達的崔弘升，令其堅守蒲州，自率主力騎、步兵四萬五千人向北而去。
而另一路隋軍偏師史祥也從風陵渡方向強渡黃河，擊破留在簇的數千漢王叛軍，占據黃河渡口。史祥乃受命沿著首山、百梯山（今中條山脈）一路向東北而行，先後占領了鹽池（今運城鹽池）和安邑縣、夏縣，掃清了蒲州的南部叛軍。
黃明遠數萬主力，一路浩浩蕩蕩，往北而去。其主力還未出蒲州境內，從蒲阪城到晉陽八百餘隋裏，沿途的叛軍已經是風聲鶴唳，草木皆兵，盡皆望風而逃。
十一日，隋軍下聞喜城。
十二日傍晚，隋軍主力兵臨晉州城下，晉州刺史裴文安命人緊閉城門，堅守不出，準備負隅頑抗。
晉州的守兵不足，並不足以出擊，但若是選擇攻城也要數日消耗。黃明遠擔心漢王叛軍會堵塞雀鼠穀，因此乃命史祥率領兩千人圍住晉州，並總管晉州、絳州、呂州三州諸軍事，又命段文操、楊萬項二人各率兩千人圍住絳州、呂州，勿使三州在大軍身後作亂。
黃明遠準備繞過這些據不投降的城池，直接奔晉陽而去。
軍中大將崔彭、獨孤覽等人皆是大吃一驚。獨孤覽直接進言道：“漢王經營河東多時，雖為叛逆，但河東之地，附逆者無數。今總管以數萬之兵戰漢王叛軍十餘萬人之兵，本就是艱難重重。今總管令大軍繞開城池，孤軍深入，一旦稍有挫，必會危及全軍，倒時恐進退無路。”
其他人也紛紛進言，主要是言漢王雖兵敗蒲州，但根基未損，手下還有十餘萬精銳軍隊，並非不堪一擊。黃明遠此舉，實乃非生即死之策，太過凶險。
黃明襄也建議黃明遠穩紮穩打，一路邊破敵邊進軍，同時等待巴蜀、關西、關中等地的府兵。
眾饒建議雖然穩妥，全軍一路平推，步步為營，可為大軍爭取充足的時間，但同時也給了漢王充足聊時間做準備，黃明遠並不想在晉陽打一場耗時數月的攻堅戰。
陳遠也認為此時黃明遠可以選擇突擊直入，漢王楊諒必無所防備。
黃明遠乃對眾人道：“今漢王新敗，軍心不穩，內亂不止，正是士氣最為低落之時。我軍長驅直入，直搗漢王腹心之地，漢王必無所備，倉促應戰，我軍必可大勝。若此時頓兵於晉州城下，雖穩固了後方，但也給了漢王整頓軍心，調兵遣將的機會。到時候雙方沿途惡戰，怕是從晉州到並州數百裏之地，皆是一片焦土啊。”
黃明遠跟眾人解釋之後，便命眾人拔營北上。他本來沒有跟眾人解釋的義務，隻是怕眾人因為反對而亂了軍心。
眾人也不敢拒絕，第二日一早，立刻拔營北上。
黃明遠的平叛大軍一路櫛風沐雨，並不停歇，於十五日上午，隋軍主力進入雀鼠穀。