這時的山海關有日偽軍和地方警察共約3500人駐守，依仗山海關的高城牆，聲稱隻交槍給國民黨軍隊，拒不向共產黨軍隊投降。我軍先掃蕩了外圍，形成對山海關的包圍。
8月30日，蘇聯紅軍來到了山海關。由於我軍和蘇軍原來毫無聯係，當曾克林命令部隊中所有的司號員吹起歡迎號時，蘇軍仍不知我軍是什麼部隊，並立即架起了武器。我軍立即唱起了《國際歌》，這一全世界無產階級的歌曲立即把兩支軍隊聯係了起來。然後通過蘇軍帶來的蒙古翻譯，雙方才得以溝通。中國共產黨領導的軍隊在這裏和蘇聯共產黨領導的軍隊第一次會了師。雙方商定共同攻打山海關，蘇軍炮擊之後，我軍與蘇軍一道攻入了山海關，接受了日偽軍的投降。三天以後，延安的《解放日報》在頭版刊出了如下標題的報道：“華北軍事要衝山海關，即已陷敵手13年之久的榆關鎮已為我軍光複”。
攻下山海關之後，曾克林率軍坐上火車向東進發，連克興城、錦西、錦州後，第十八團留下來守衛錦州，第十二團也留下一些部隊接管各地政權。最後剩下一個營則由曾克林、唐凱率領，與蘇軍一道前往沈陽。9月5日到沈陽時，十八軍分區的政委焦若愚也趕了上來。
與各部隊向東北開進的同時，為了建設和鞏固東北根據地，中共中央又決定從延安和全國其他地方抽調幹部陸續派往東北。從延安出發的第一批幹部1000餘人組成的幹部工作團是由晉綏軍區副政委林楓率領的。8月28日，在去飛機場送走了到重慶與蔣介石談判的毛澤東以後，朱德在延安的中央黨校大禮堂為即將去東北的幹部做了一個重要報告，他說：
我們要積極向東北發展，東北大有文章可做。蔣介石的部隊大部分在南方，到東北要走半年。即使他到了東北，頂多是他占城市，我占鄉村。有的同誌這幾天看到蘇聯和蔣介石訂了條約，有些灰心。過去以為蘇聯會大大幫我們一手，現在失望了。這是因為過去希望過奢。但是要知道，雖然有個條約，東北的工作還大得很。蘇聯三個月撤兵，中國要歸中國人自己管，東北要歸東北人管，我們當然可以管，條約上沒有規定不要我們去，不要我們管。現在要派五萬部隊插過去，再派萬把幹部，將來還要去。這是很長遠、很鞏固的路。
8月29日，由劉少奇主持的中央書記處以中共中央的名義向晉察冀分局和山東分局發出指示：
晉察冀和山東省準備派到東三省的幹部和部隊，應迅速出發，部隊可用東北軍和義勇軍等名義。隻要紅軍（按：此指進入東北的蘇聯紅軍）不堅決反對，我們即可非正式地進入東三省。不要聲張，不要在報上發表消息。進入東三省後，亦不必坐火車進占大城市，可走小路控製廣大鄉村和紅軍未曾駐紮之中小城市，建立我地方政權和地方部隊，大大地放手發展。在我軍不能進入的大城市，亦須盡可能派幹部去工作。對紅軍可進行非正式的接洽，將情報通知紅軍。但不要勉強與紅軍做正式的接洽與聯絡，亦不要請求紅軍給我們幫助。隻要紅軍不作聲，不堅決反對我之行動即好。但紅軍所堅決反對之事我必須照顧，不要使紅軍在外交法律上為難。山東幹部與部隊，如能從海上進入東三省活動，則越快越好。