萬毅打了前鋒，其他各部陸續出發。從9月下旬到12月上旬，總共有蕭華、吳克華、楊國夫、羅華生、梁興初、羅舜初、田鬆等各率所部共6萬多部隊（包括了山東軍區8個主力師中的6個）去了東北。而山東解放區則由新四軍的二師、四師、七師和江南一縱由南向北開進接防。
新四軍到東北的主要部隊，是黃克誠率領的第三師。
這時的黃克誠是新四軍主力之一第三師師長兼政委，他早在中央下達進軍東北的命令之前，就從全局出發看清了東北的重要，曾於9月14日主動向中央提出報告，建議派大部隊去東北“迅速創造總根據地，支援關內戰爭”，是我軍高級將領主動向中央建議進軍東北的第一人。所以當中央決定調動新四軍的部隊時，就點了他的將，讓他率第三師開赴東北。於是他和副師長劉震、副師長兼參謀長洪學智、政治部主任吳法憲等就率領第三師的4個旅、3個特務團共3.5萬人，於9月28日從蘇北淮陰出發，星夜兼程，趕往東北。從獨立建製的部隊來說，新四軍第三師是到東北的最大一支隊伍。
除了山東軍區和新四軍三師之外，從其他根據地抽調去東北的部隊還有：
由劉轉連、晏福生率領的陝甘寧晉綏聯防軍三五九旅第二梯隊（三五九旅第一梯隊已由王震率領南下，第二梯隊已經整編為一個旅，原來也準備南下，現在改為進軍東北），由黃永勝率領的教導二旅、一旅各一個團，由文年生率領的警備一旅。
由沙克率領的晉察冀軍區所屬冀中軍區第三十一團。
由鄧克明率領的冀魯豫軍區第二十一團。
這樣，山東軍區的6萬多人加上新四軍的3.5萬人，一共10.7萬人的我軍主力部隊，按中共中央的要求，最晚的在1945年的12月上旬，全部開進東北，分布在南起安東（今丹東），北至牡丹江的東北大地上。
在調動軍隊的同時，中央很清楚，為了發動群眾，開辟和建設根據地，還需要大批幹部。所以，中央先是派遣延安的幹部，然後派遣其他根據地的幹部。林楓和陶鑄帶去了第一批，李富春帶去了第二批。按中央的要求，要在各地調派出100個團的幹部架子。1945年11月1日，毛澤東在給彭真的電報中說：
十月底止已到東北之幹部，計有：山東二千，林楓一千九百，晉察冀五百，太行、太嶽六百，冀魯豫三百五十，黃永勝一千五百，萬毅八十，共計六千九百三十。張啟龍、倪誌亮、伍晉南等批還不在內，是否均已到達？
到1945年11月底，中央向東北調去的幹部已有兩萬多人，其中包括20名中央委員和候補中央委員（占總數的三分之一），4名中央政治局委員（彭真、高崗、陳雲、張聞天）。如此規模地調動軍隊和幹部，這在中國共產黨的曆史上既是空前的，迄今為止，也可謂是絕後的。