楊玄感從洛陽一路向西，往東而去。沿途過城池而不入，拚了命地趕路。
楊玄感到達龍潭峽穀之後，彙合大將王伯仲所部，全軍共計有三萬多人。為防止衛玄追擊，楊玄感便以巨石堵塞峽穀之路，使其不得出。
衛玄這些日子，被困於峽穀之中，進退不得，且兵盡糧絕，根本無力反攻。此時見楊玄感向西，卻無能為力，隻得派人往洛陽問詢情況，並請求救兵。
而楊玄感則是晝夜兼程，很快到達弘農宮（今河南三門峽市西陝縣老城）。
到了陝縣，楊玄感就算到了老家了。陝縣從兩漢便是弘農郡的治所，到了隋朝才被朝廷從弘農郡劃給河南郡。此時不少聞詢趕來的楊家故舊前來投奔楊玄感，楊玄感便對眾人說道：“我已破東都，今日西行，隻為取關西矣！”
一眾人聞之大喜，紛紛請為向導。
這時楊玄感的堂叔楊虔遜進言道：“今弘農宮宮城空虛，又多積粟，攻之易下。若取弘農宮，如此進可絕追兵糧道，進可去宜陽之地。”
這時不少楊家人也不希望楊玄感向西放棄弘農，白白將偌大的家族基業丟給大隋，因此紛紛請求楊玄感攻打弘農宮。
楊玄感礙不住家族請求，同時也覺得需要家族支持，因此便決定驅兵攻打弘農宮。
李密聽到此事之後，忙來見楊玄感。
“楚公，今黃明遠追兵在後，我軍宜速速入關中為上，一旦在弘農遷延日久，敵軍又至，我軍危矣。”
楊玄感見李密前來，高興地對李密說道：“法主勿憂，我聽聞弘農宮內，有兵卒不過千人，但糧食、兵甲卻是堆積如山。我左思右想，這些日子在洛陽城下屢屢碰壁，不就是兵戈不利，甲胄不全。我雖憎惡黃明遠，但此賊有一句話說得不錯‘磨刀不誤砍柴工’，便是如此。”
李密聽了一陣焦急，現在情況能一樣嗎？
李密忙說道：“楚公，弘農宮再是兵少，畢竟有堅城依托，急切之間ꓹ未必能下。但追兵若至，則我軍進退無路ꓹ便是全軍覆沒的結果。”
楊玄感一副了然於胸的樣子說道：“法主勿憂，黃明遠雖然大軍趕來ꓹ但既要整頓軍隊ꓹ又要安定洛陽城，這都需要時間。我軍至少有五天的時間可以攻擊弘農宮，綽綽有餘。”
李密眼看楊玄感油鹽不進，也有些惱怒，憤然說道：“楚公ꓹ這都是僥幸，黃明遠乃兵法大家ꓹ焉能不知兵貴神速的道理。若黃明遠不管不顧ꓹ直接追來ꓹ那我軍哪裏又有五天空餘時間。我就怕我軍正攻打著弘農宮，而身後隋軍又至ꓹ到時候隻能再次逃命。”
“放肆！”
聽到李密的話ꓹ楊玄感也有些惱怒。這是你一個做臣子的該與主上所說的話。此時屢次為李密所勸阻的事情都湧上心頭，楊玄感不由得憤怒交加，惡狠狠地說道：“李密ꓹ你屢屢對我軍方略橫加幹涉ꓹ你真以為我軍除了你一人別人都不懂方略ꓹ既然如此，我這個主帥的位置讓給你便是了。”
“楚公······”