1936年2月，根據中共中央“八一宣言”中號召組織抗日聯軍的精神，東北人民革命軍第1至第6軍先後改編為東北抗日聯軍。11月，抗聯第4軍第2師在饒河地區擴編為抗日聯軍第7軍，陳榮久任軍長。此後不久，除了共產黨直接領導的這7個軍以外，還有一些抗日武裝經團結爭取，也先後加入抗日聯軍的戰鬥序列。中共南滿、吉東、北滿省委成立後，抗聯各軍又先後編成第1、第2、第3路軍，分別歸三省省委領導。第1路軍轄第1、第2軍，楊靖宇任總司令兼政治委員，王德泰任副總司令，魏拯民任政治部主任；第2路軍轄第4、第5、第7、第8、第10軍等部，周保中、趙尚誌任正副總指揮，崔石泉（崔庸健）任參謀長；第三路軍轄第3、第6、第9、第11軍，李兆麟任總指揮，馮仲雲任政治委員，許亨植任總參謀長。抗聯統一編製後，各軍相互配合，主動尋機作戰，狠狠打擊日偽軍。
1936年6月，第1路軍以一部兵力西征熱河、綏遠，以求打通與關內紅軍的聯係；另以一部兵力在原遊擊區堅持鬥爭，策應遠征部隊的行動。楊靖宇率領第1軍由金川地區出發，執行西征任務。軍主力在本溪縣境同第1師會合後，即在賽馬集伏擊日偽軍，斃傷俘日軍顧問英俊及偽軍頭目邵本良以下1000餘人。隨後，第1軍以第1師為前鋒繼續西進，越過摩天嶺後在遼陽地區遭敵重兵追堵，激戰突圍後被迫返回寬甸地區休整。12月，第1軍又令第3師改組成騎兵部隊再次西征，仍未突破日偽軍的堵截。兩次西征雖然未達預期目的，但擴大了抗日聯軍的政治影響和活動區域。
抗聯第3軍在趙尚誌、馮仲雲指揮下，於1936年初在方正縣境內的豬蹄河附近設伏，斃傷日偽軍80多人。隨後，第3軍又協同第4軍襲擊石頭河子，斃傷敵人70餘名。同年底，為打破日偽軍的“討伐”，趙尚誌率第3軍一部兵力向鐵力、海倫、龍門遠征，遭敵重兵追堵後，由鐵力向遜河方向前進，途中進行了冰趟子、龍門等戰鬥，殲滅日偽軍200餘人，第3軍也遭受很大損失，到達遜河地區時，部隊隻剩下百餘人，被迫返回湯原地區。此間，第3軍留守湯原的部隊積極開展遊擊戰，取得了太平溝金礦、馬連站等戰鬥的勝利，攻克了蘿北、佛山等縣城。周保中、宋一夫率領的第5軍，夏雲傑、李兆麟率領的第6軍，也都積極開展抗日遊擊戰，擴大活動區域。
從1936年4月到1937年上半年，抗聯進行大小戰鬥數千次，殲滅日偽軍一萬餘人，至1937年冬，抗聯總兵力發展到4.5萬人，活動範圍擴大到70多個縣，牽製日偽軍數十萬人，從戰略上配合了全國抗戰。
抗聯的英勇鬥爭，對東北的日偽統治構成嚴重威脅，引起了日軍的極端仇恨。從1936年4月起，日軍調集重兵分路圍攻抗聯。這年冬天，日軍在撫鬆縣西崗包圍了抗聯第2軍軍部和第4師，抗聯部隊苦戰10餘小時，突出重圍，第1路軍副總司令兼第2軍軍長王德泰壯烈犧牲。在這前後不久，第6軍軍長夏雲傑、第7軍軍長陳榮久也都在部隊遭敵包圍，突圍時英勇犧牲。
1938年4月，為打破敵人合圍，第2路軍以第4、第5軍主力舉行西征，總部率留守部隊在寶清、饒河等地堅持鬥爭。西征部隊一路激戰，重創日偽軍，但遭日偽軍重重圍堵，損失慘重，第4軍軍長李延平、副軍長王先宇壯烈犧牲。堅持原地鬥爭的部隊則先後進行大小戰鬥37次，斃傷日偽軍2000餘名，其中第7軍在鐃河縣西風咀子伏擊戰中擊斃日軍少將日野武雄。
1939年，日軍將關東軍兵力增至9個師團，並在占領區陰毒地實行所謂“歸村並屯”，建立“集團部落”，實行“米穀管理法”嚴密控製糧鹽、布匹、醫藥等物資，切斷抗聯與群眾的聯係，斷絕抗聯的物資來源。在日偽軍瘋狂的軍事“討伐”和嚴密的經濟封鎖下，抗聯的活動區域日漸縮小，部隊大部被迫轉移到深山老林，在冰天雪地中以樹皮野果充饑，堅持抗日遊擊戰爭。
1939年初，楊靖宇率領第1路軍一部襲擊吉林省樺甸縣木其河農場，全殲偽森林警察隊。接著，又襲擊了敦化大蒲柴河日軍野戰倉庫，解除了偽警察200餘人的武裝。敵集中日偽軍警7萬餘人，重點“討伐”第1路軍。在以後突破敵圍攻的數次戰鬥中，抗聯第1路軍損失嚴重。1940年，日偽軍集中約6000人，圍追抗聯第2路軍。周保中決定兵分兩路突圍，兩支部隊一路血戰，衝破敵人的層層封鎖，於5、6月間分別到達寶清蘭棒山和寧安鏡泊湖地區。第3路軍在李兆麟、馮仲雲指揮下，活動於黑龍江省北部十幾個縣境內，半年多時間與敵作戰40餘次，殲敵250餘人。