林彪趕到沈陽時，已是10月29日。中央要他擔起東北部隊的統帥，可是這支部隊此時還沒有名稱。這是因為，中共中央在部署各路大軍進東北時，為了避免不必要的摩擦，規定一律不用八路軍、新四軍的名義，當時也來不及給各部隊以恰當的名稱，就這樣進了東北。還是駐沈陽的蘇軍第六集團軍司令克拉欽科上將提議，將進入東北的八路軍、新四軍都稱為東北人民自治軍。
10月31日，也就是林彪到達沈陽後的第二天，東北局得到了毛澤東為中共中央起草的命令，決定我軍在東北的正式名稱為東北人民自治軍，任命林彪為總司令，呂正操、李運昌、蕭勁光為第一、第二、第三副司令，彭真為第一政委，羅榮桓為第二政委，程子華為副政委，蕭勁光兼參謀長。兩天後，又補充任命周保中為第四副司令，伍修權為第二參謀長（在此之前，為了統一指揮東北的戰事，中共中央決定組織一個臨時性的軍事指揮機關，叫東北軍區司令部，由程子華任司令員，彭真任政委，伍修權任參謀長。東北人民自治軍組成後，這個臨時指揮機關自行撤銷）。
與此同時，中央還決定，再調高崗、張聞天、李富春到東北局工作。為了開辟後方根據地，11月2日，中央根據東北局的意見，決定成立東北局北滿（東北在當時又稱滿洲，北滿、南滿等是當時對東北一部分地區的習慣稱呼）分局，以陳雲為書記，林楓為副書記。其任務是控製北滿，組織軍隊，建立政權，發動民眾，鎮壓反動，鞏固後方。根據中央的精神，東北局決定建立北滿軍區，由高崗任司令員，陳雲任政委。同時成立西滿分局，由李富春任書記；成立西滿軍區，由呂正操任司令員。11月20日，中共中央為了改進對西滿工作的領導，決定加強西滿分局，由李富春任分局書記兼軍區政委，黃克誠為分局副書記兼軍區副政委，軍區司令員由林彪兼任，呂正操、李運昌為軍區副司令員。
在11月的一個月之內，東北人民自治軍總司令部陸續將整個東北劃分成若幹軍區。先後成立的有：錦熱軍區、嫩江軍區、吉林軍區（又稱東滿軍區）、北安軍區、鬆江軍區、三江軍區（又稱合江軍區）、遼東軍區、遼寧軍區、遼北軍區。其中，軍事力量較強的是以下幾個軍區：
遼東軍區，司令員兼政委蕭華；遼寧軍區，司令員張學思，政委白堅；遼北軍區，司令員倪誌亮，政委郭述申；吉林軍區，司令員周保中，副司令員萬毅，政委張啟龍；北安軍區，司令員葉長庚，政委王鶴壽；鬆江軍區，司令員盧冬生（盧犧牲後為聶鶴亭），政委張秀山。
11月底，東北人民自治軍的總部由沈陽移到本溪。
這樣，東北的黨政軍領導班子和各級指揮機構大體就緒。