11月28日，日軍飛機轟炸了海拉爾。28日，日軍各部隊及偽黑龍江省警備軍各旅在飛機直接支援下開始發起進攻。朱家坎、碾子山兩地戰鬥極為激烈。義勇軍張挺玉、唐中信部堅守陣地兩晝夜，終以兵力、火力相差懸殊，傷亡300餘人，被迫突圍南撤，後經關門山、索倫山轉進至熱河。11月30日晚，日軍占領了紮蘭屯。
12月１日，蘇炳文在博克圖召開了秘密會議。與會人員一致認為前方主力已被擊潰，後方兵力過於薄弱，難以久守。為保存實力，決定退入蘇聯境內。12月２日晚，蘇炳文、馬占山、張殿九、謝珂等率正規部隊3000餘人、非戰鬥人員1200餘人乘火車離開海拉爾，４日到達滿洲裏，向蘇聯邊防部隊交出武器後進入蘇聯境內。日軍於５日占領海拉爾，６日占領滿洲裏。
東北義勇軍主力分別退入蘇聯和熱河以後，東北地區尚有數萬人分散在各地繼續堅持更為艱苦的抗日遊擊戰爭。如鄧鐵梅、孫朝陽，陳東山、吳義成、盧明謙、張錫武部等。但至1934年亦先後失敗。
進入蘇聯境內的各部義勇軍官兵先後被蘇聯收容於多木斯克。1933年２月中下旬，蘇聯政府把越境的群眾和軍人分別通過海參崴和新疆中蘇邊境送歸中國。４月中旬，義勇軍的高級將領馬占山、蘇炳文、謝珂、李杜、王德林、張殿九等20餘人經莫斯科、華沙到柏林。５月８日，馬占山、蘇炳文和李杜去羅馬，會見正在那裏考察的張學良，其餘人在柏林停留半月後乘船回國。５月中旬，馬占山和蘇炳文從威尼斯回國，李杜則暫留羅馬。越境退入蘇聯的東北義勇軍共計１萬餘人，分８批回到新疆。1933年７月，國民政府宣布將這些人編入新疆部隊。
從“九一八”事變起到1933年《塘沽協定》簽訂，在兩年多時間裏，東北抗日義勇軍發展到５０萬人左右，和日偽軍進行了大小約3000次的戰鬥，給日偽軍以重大打擊。東北抗日義勇軍的抗日行動，是東北人民偉大的愛國行動，是對蔣介石不抵抗政策的反抗。雖然大規模的武裝鬥爭失敗了，但東北廣大不願意做奴隸的人們仍堅持戰鬥。有的接受了中國共產黨的領導，編成東北民主聯軍的一部分，堅持到日本帝國主義失敗投降。他們不屈不撓、前仆後繼地英勇鬥爭，在中國人民的反侵略戰爭史上產生了不可估量的影響。
東北抗日義勇軍的鬥爭，為全國規模的抗日戰爭，乃至整個反法西斯戰爭都做了思想上、組織上的準備。日本帝國主義侵占東北後，東北民眾愛國熱忱之高漲、對敵鬥爭之堅決、群眾發動之廣泛、鬥爭環境之艱苦、犧牲之慘烈，在中國人民近代反帝鬥爭史上是前所未有的。
東北抗日義勇軍的英勇鬥爭和人民高漲的聲援活動，振奮了民族精神，推動了全國抗日救亡運動的發展，促進了國民政府統治營壘的分化。從1931年馬占山的江橋抗戰、1932年第19路軍的上海抗戰、1933年的長城抗戰、馮玉祥組織察哈爾抗日同盟軍的抗戰，直到1935年的“一二。九”運動和1936年的西安事變，無不受東北抗日義勇軍運動的促進和影響。
東北抗日義勇軍的抗日活動牽製了大量的日軍。據文獻記載，日本用於東北戰場的正規軍力量，1931年至1933年約有５萬人，1934年至1937年約有40萬人（雖然這40萬人主要用於防蘇）。從“九一八”事變到1933年，日軍被東北義勇軍消滅的達10500餘人。從“九一八”事變到“七七”事變前，日本侵略軍在東北戰場上被打死、病死、戰傷、凍傷者，共達17萬人以上。就連日本戰史也承認，日軍在義勇軍的打擊下“困難重重，傷亡慘重”。
日本侵占東三省，同時也是對蘇聯作戰作準備。日本關東軍參謀長三宅後來承認：“占領滿州的作戰計劃是日軍對蘇聯作戰總計劃中的一個主要組成部分。”“九一八”事變爆發後，蘇聯就敏銳地感覺到日本的威脅，便加強了遠東的防禦。1931年，蘇聯遠東軍擁有３個師，關東軍和朝鮮駐屯軍也有３個師團的兵力；1932年日本增加到６個師團的兵力，蘇聯則增加到８個師。1932年８月，日本參謀本部製定了對蘇作戰計劃，準備以東北為基地，用總兵力３０個師團中的20。5個師團對蘇作戰。
但是直到1937年，日本侵略者始終未敢發動侵蘇戰爭，這除了蘇聯做好了反侵略戰爭的準備以外，另一個重要的原因是東北義勇軍和爾後的東北抗日聯軍廣泛地開展了抗日遊擊戰爭，拖住了日軍“北進”的後腿，使其侵略計劃無法實現。對此，日本學者信夫清三郎指出：“由於滿洲人民的反滿抗日鬥爭……關東軍迫於討伐，致使本來的目的——對蘇戰略體製，始終也未得進展。到了1934年，掃蕩討伐告一段落，便想轉入對蘇戰爭準備，但從此時起，滿洲的抗日軍隊大部接受了中國共產黨的領導”，從而戰鬥性更加堅強，“日軍不得不繼續應付東北人民的抗日武裝鬥爭”。