雖然井伊直孝和幕府上層已經知道明人插手了忠長殿下的叛亂，但他們並沒有對下麵的家臣和士兵們公布這些事情。是以剛剛聽聞此事的井伊家臣們，也是驚怒交加。
這些家臣受到驚嚇，是因為明人居然是大阪叛軍的指揮，這令他們想起了文祿慶長之役中，那些戰國大名們被明軍打的丟盔棄甲的經曆。他們的憤怒，則是日本被這位明人稱為蠻夷之屬。
向中國學習了上千年的文化之後，華夷之分在日本也是一種政治正確。就像中國把國境之外的民族稱為四夷，日本同樣把日本列島之外的土著民族視為蠻夷，把自己視為中華。
雖然日本在東亞的宗藩體係內算是較為特殊的存在，他們仰慕中華文化，但又不像其他民族一樣對中國人頂禮膜拜。在某種程度上來說，他們倒是覺得自己和中國是平起平坐的存在，當然這種言論他們也隻敢在國內說說而已。
但日本人心裏還是很清楚的，在東亞宗藩體係之中的老大是誰。一旦中國真的號召天下，把日本排除在了中華文明之外，這對於日本在東亞民族中的地位將會是一個致命的打擊，而幕府也就失去了統治日本的正當性。
就在家臣們竊竊私語的時候，井伊直孝卻從憤怒中清醒了過來。他收起了書信，冷靜的對著家臣們說道：“為了井伊家的名譽，原本我當戰死於此。
不過井伊家的名譽事小，幕府的存亡事大。這位明國副使既然把這封信送到了我手中，我又豈敢置幕府存亡於不顧，看來我們的確是要撤退了。不過我們也不能置前軍於不顧…”
雖然井伊直孝口口聲聲說不能置前軍於不顧，但他所謂的不顧，也就是讓人去通知一下阿部正次撤軍而已。至於老營內的人馬撤退，井伊直孝也分成了兩個部分，三千赤備隊跟他一起行動，其他人馬則由西鄉重員帶領。
井伊直孝否決了這班被嚇壞了的家臣們提出的，直接進攻枚方然後撤回京都的意見。因為這預示著本次出征已經完全失敗，天知道後方的德川義直會怎麼對付他。
腦子已經完全清醒過來的井伊直孝，把撤退的目的地定在了奈良。那裏不僅有稻垣重綱的一部人馬，還有群山環繞作為天然的防禦。此外撤到這一地區，他好歹還能向幕府解釋，雖然出征不力，但他好歹沒有逃跑。
在前軍的大營中，看著對麵的大阪軍好整以暇的在自己麵前列陣，阿部正次等前軍將領都滿是焦慮的等待著井伊直孝的指示。他們很清楚，一旦對方排列好陣型，對於前軍大營的進攻就要正式開始了。
作為一個進攻營地，前軍大營的外圍隻有一道淺壕和三道竹籬笆而已。阿部正次並不覺得這些簡陋的防禦設施能夠起什麼作用，而且一旦對麵的大阪軍開始進攻，他們連逃亡的機會都失去了。
然而，阿部正次和部下們等來的，隻是一份令他們自行撤往枚方宿場的命令。至於眾人滿心期待的，讓赤備隊配合他們撤退的要求，在這份命令上則隻字未提。
聽完了信使傳達的命令之後，帳內也是一片安靜。過了許久才有一名將領不太相信的說道：“井伊殿這就打算不管我們了？”
另一名滿是怨氣的將士則憤憤的回道：“還在做什麼美夢呢，井伊殿都已經帶著自家的赤備隊跑路了，這還是打算嗎？”
僅僅是片刻之間，帳內就同仇敵愾的把仇恨送給了把他們丟下的井伊家了。阿部正次在邊上聽了半天，除了抱怨之外就沒有聽到什麼有用的建議，不由拉下臉來將眾人都訓斥了一通。
待到帳內重新安靜下來之後，阿部正次才說道：“事已至此，你們可有什麼打算？”
帳內的將領們互相以眼神交流了片刻，便有人迫不及待的出聲說道：“外麵的大阪軍正列陣待攻，這個時候撤退和自取滅亡有什麼區別？我們能不能看到枚方宿場的影子都是個問題，還談什麼返回京都？”
阿部正次頓時眯了眯眼睛，冷冷說道：“那麼你們是想留下來和大阪軍決一死戰了？”
帳內再次沉默了許久，方才有人弱弱的說道：“除了撤退和死戰，難道就沒有其他路可以走了嗎？”
這話一出，便有人呼應道：“不錯，咱們難道不能同大阪軍談和嗎？聽說對麵的大阪軍中，有不少是阿部大人的舊屬，不如請阿部大人前去談判，讓他們放條生路於我等…”
聽到這些將領的言論，阿部正次的臉色頓時變得鐵青，但這隻軍隊可不是他征召來的。雖然井伊直孝讓他擔任前軍的指揮，但是大權依舊掌握在井伊家臣西鄉重員手中。西鄉重員離去之後，前軍這些將領們自然不會將他這個敗軍之將放在眼中。因為名義上，阿部正次和他們的地位都是一樣的，都是接受井伊直孝的指揮。