“司令官閣下，不要再猶豫了，立刻決定放棄遼陽，撤回到鳳凰城吧。放棄遼陽責任，我願意和司令官閣下共同承擔。”
“好吧，為了這幾十萬日本軍人，還有後勤人員，保存日本的有生力量，我們隻能選擇撤退了，責任由我來承擔，到了鳳凰城以後，我就會向參謀部辭職，你不必擔心了。”
“司令官閣下……”
“兒玉君，不必再說了，放棄遼陽，總需要有一個人來承擔責任，有我就夠了，如果我們兩人都離開了，這些日本的有生力量怎麼辦，到了鳳凰城也不意味著就安全了，還需要你來指揮日軍。”
大山岩是在5月31日收到日本陸軍參謀部的電報，才知道參謀部又把球踢給了自己，當然也是把放棄遼陽的責任甩給了自己，而這個時候大山岩也沒有別的辦法，參謀部可以甩鍋，但自己卻是不能甩的，第4軍團支援九連城的行動失敗以後，日軍的局勢就變得十分危急了，團此大山岩隻好急電命令在沈陽主持撤退工作的兒玉源太郎回遼陽來協商軍情。
這段時間裏，日本從沈陽的撤退到是卓有成效的，這當然也是多虧了兒玉源太郎的組織調度有方，現在已經撤回遼陽5個師團，後勤人員15萬餘人，各種物資約20餘萬噸。而沈陽大約還有駐軍14萬人，後勤人員5萬餘人，各種物資約18萬噸，不過是以武器彈藥為主，其他物資已不足5萬噸了。估計再有3-4天的時間，日軍就可以留給俄軍一座空城。
不過由於軍隊數量的減少，日軍已經放棄了沈陽城外的大部份陣地，離城最遠的陣地隻8公裏多。但俄軍對日軍顯然還是心有餘悸，盡管日軍早已放棄了大部份城外陣地，但俄軍雖然己集結了超過10萬人的軍隊，但始終駐守在離沈陽城20公裏左右的地方，卻不敢靠近接收這些陣地，隻敢派小股軍隊靠近試探日軍，但一交火就立刻撤退了。
這時遼陽的守衛兵力達到了6個師團，3個旅團，共計約12萬多人，大山岩也為遼陽建立兩條防線，第一條是遼陽外圍，由首山至張台子，寬幅達20公裏，距離遼陽城約10-15公裏，共設首山、韓家台村、小台、佟莊子、張台子五個陣地，其中首山和張台子各布置了一個旅團，其他三個陣地則均為一個師團，總計約6萬人，另外又在鞍山布至了1個師團，弓長嶺布置了一個旅團，作為遼陽側翼和後方的掩護。
而第二道防線則是以遼陽的城牆、護城河為依托布置。
現在的遼陽城建成於明朝明洪武五年（1372年），曆時1 0餘年，周長約24裏，城牆磚石合築，內石外磚，牆心夯土，上窄下寬，呈梯形，牆底寬8.30米，高10米。遼陽城內分南北二城，兩城相連呈“日”字形，南城較大，為遼陽城的主城，遼東都司、總兵府官署，均設在南城，南北長1 800米，東西寬2 250米，城四角各有角樓，共開有6個城門，其中有一個與北城相通；而北城較小，南北寬1000米，東西長2 200米，開有3個城門。而在城牆外四周均有護城河環繞，引用太子河水，深4米，寬約1 0米。
清朝的遼陽城基本保持了明朝規模，雖然在火器時代，城牆的防禦力己大大降低了，但還是有一定的作用，而且還有護城河的掩護，日軍駐守遼陽的時間並不長，也是最近十幾天才開始布防遼陽，因此也來不及構築什麼堅固的工事，有現成的城防設施，自然是要充份的利用起來。
不過雖然日軍從遼陽撤軍的決議已確定了，但也不是能說走就走的，畢競還有人民軍和俄軍在身邊虎視眈眈，必須要製定一個完善的撤軍計劃，而當務之急就是要盡快打通撤退的路線，至少要給第4軍團增派2-3個師團才行，但現在遼陽的守衛兵力也不能動的，畢竟還麵對著人民軍的20萬大軍，在這個時候，人民軍是絕不會讓日軍從容的從遼陽撤走，因此隻能從沈陽抽調軍隊增援第4軍團。
兒玉源太郎表示，明天就立刻從沈陽的軍隊裏抽調出3個師團，兩個增援第4軍團，並且要求野津道貫，必須全力打通撤退的路線，而另一個師團則留在遼陽，增強遼陽的兵力，畢竟在遼陽肯定還有一場惡戰要打的。
而沈陽剩下的軍隊人員都要盡快撤離，三天之內，必須全部撤離沈陽，物資來不及運走的，就地銷毀，而且撤離的軍隊人員不在遼陽停留，乘座火車的直接在鞍山下車，從那裏向鳳凰城進發，而步行離開沈陽的，側繞過遼陽，去鳳凰城。好在是俄軍目前仍然是縮手縮腳，也算是減輕了日軍的難度。