為加強對北滿地區抗日武裝的統一領導和指揮，1936年1月，在鬆花江下遊湯原縣境召開了北滿抗日部隊軍政領導人聯席擴大會議，李兆麟被推選為會議執行主席。會上，根據《八一宣言》的精神，成立了“東北抗日聯軍總司令部”（實際是北滿抗日聯軍總司令部），趙尚誌為總司令，李兆麟為總政治部主任。會後，李兆麟以聯軍總政治部主任和第三、六軍湯旺河留守處主任的身份留守湯旺河，負責建立和領導湯旺河後方根據地的工作。在同年9月召開的中共北滿臨時省委成立大會上，李兆麟被選為省委委員。
在省委領導下，鬆花江下遊地區的抗日鬥爭發展很快，到1937年“七·七”事變前，除少數城鎮外，這一地區的廣大農村都已控製在抗日聯軍手中。日偽當局驚呼：“三江省已變為共產樂土！”驚慌不安的敵人很快調集5萬餘人的兵力來包圍抗日聯軍。為打破敵人的圍殲計劃，省委迅速組織第三、六、九、十一軍向西北遠征，以跳出敵人的包圍圈。北滿抗聯各軍從6月開始分批西征，相繼進入海倫縣境。李兆麟率領的部隊是最後一批啟程的，他完成下江地區工作部署後，率隊到達湯東老白山下江留守部隊的密營。接著，李兆麟繼續率第六軍教導隊和第十一軍的隊伍，離開下江，翻越小興安嶺，向黑嫩平原進發。當時東北已經是狂風怒吼、大雪飛揚的嚴冬季節，但戰士們還沒有穿上棉衣。於是他們襲擊了鶴崗市郊區的日本倉庫，繳獲了一批布匹和棉花，開始自己動手製作棉衣。
大雪覆蓋著小興安嶺，部隊行進在百裏不見人煙的林海雪原。他們白天分成小部隊活動，夜間在篝火旁露營。饑餓、嚴寒和長途跋涉，使戰士們疲憊不堪，大家邁著艱難的步子前進著。在這次抗日救國的鬥爭中，有不少戰士就長眠在白雪皚皚的小興安嶺山林裏。李兆麟在沼澤地帶與日本侵略者進行頑強鬥爭時所寫的《露營之歌》，就是東北抗聯戰士浴血奮戰和艱苦鬥爭的真實寫照。這支歌也是鼓舞抗聯戰士英勇殺敵、堅持鬥爭的有力武器。
經過一個多月的長途跋涉，李兆麟率領的部隊終於衝破敵人的重重圍堵，戰勝了饑餓和嚴寒，於1938年12月底勝利到達小興安嶺西麓的海倫縣境，同原先在這裏活動的第三軍新編三師和先行到達的西征部隊勝利會師。北滿抗聯各軍西征的勝利，打破了敵人的圍殲計劃，保存了一部分主力部隊和骨幹力量，為在廣闊的黑嫩平原上依托山區開展抗日遊擊戰爭打下了基礎。
1939年4月12日，中共北滿臨時省委召開第二次執委擴大會議，決定改北滿臨時省委為北滿省委，金策為書記，李兆麟為組織部長。這次會議還決定撤銷北滿抗聯總司令部，以第三、六、九、十一軍為基礎，成立東北抗日聯軍第三路軍總指揮部，李兆麟任總指揮，馮仲雲任政委，許亨植任參謀長。5月30日，東北抗日聯軍第三路軍在德都朝陽山後方軍事根據地正式編成，全軍共有500多人。
第三路軍建成後，在北滿省委和總指揮李兆麟的領導下，在龍北和龍南一帶開展了平原遊擊戰爭。到1940年冬，第三路軍在龍江北部和南部地區攻克了包括油河、克山、肇源縣城在內的約30個城鎮，並且開辟了北部地區以德都朝陽山後方軍事根據地為中心的抗日遊擊區和南部地區以鐵力安邦河上遊後方軍事根據地為中心、包括三肇地區在內的抗日遊擊區和後方基地。第三軍在軍事上的節節勝利，還扭轉了1938年因敵人圍剿而出現的反日鬥爭低沉局麵，掀起了北滿抗日遊擊戰爭的新高潮。李兆麟在朝陽山根據地還領導組織了幹部訓練班並親自講課，從而提高了部隊幹部的素質。