堂堂正規軍一夜之間竟然連自己的番號都不能使用，各路抗戰部隊也因此而氣餒。在這種情況下，黃顯聲急中生智，將新編部隊改稱為“遼寧(抗)日義勇軍”，編張海天部為第一路，項青山部為第二路，陸續委任達二十餘路，自己擔任總司令。這就是“抗(日)義勇軍”的最初來曆。
1931年12月15日，張學良倚為依靠的蔣下野，張的抵抗意誌更加消沉，在日軍大舉進攻的壓力下，張最終下令東北軍主力於1931年最後一天撤離錦州。
東北軍方麵表示在錦州周圍與日軍進行了激烈的攻防戰鬥，最後不支撤退，損失五千餘人。然而，除步兵19旅，騎兵20旅的部分部隊，裝甲列車隊以外，基本與日軍未有接觸即撤離，撤離時日軍還在錦州的百裏之外。
真正在錦州外（圍）和日軍展開了血戰的，是黃顯聲部下的義勇軍和公（安）隊。他們與日軍在白旗堡，田莊台，盤山，打虎山各地輾轉血戰，還曾經反（攻）過營口，給日軍造成相當重大的打擊。
東北軍撤退時，黃顯聲帥三個騎兵公（安）總隊斷後掩護。以第一，第二總隊掩護機關人員撤退，親自帶第三總隊到大淩河畔楊官屯拒敵。
1月2日，黃部與日軍渡大淩河部隊展開激戰，由於敵眾我寡，戰鬥到夜間兩點三十分，方才下令炸毀女兒河鐵橋阻擋日軍追擊，部隊撤向關內。
1月3日，日軍占領錦州。義勇軍部隊，一部隨黃顯聲入關，一部留在當地繼續和日軍作戰。
由於“義勇軍”這個名字響亮而且貼切，逐漸成為東北各地抗(日)軍民最為常用的叫法。
1935年，田漢，聶耳（盒）作為電影《風雲兒女》譜寫了主題曲《義勇軍進行曲》。這首膾炙人口的戰歌，後來成為今天國歌。
然而，很少有人去細究這裏所說的“義勇軍”，最初指的是哪一支部隊了，它代表的，是白山黑水的關東人，也是全體中國人不屈的精神。
入關後的黃顯聲，所部公（安）騎兵總隊和一同撤退的保安隊，義勇軍被改編為騎兵第二師，黃任師長，參加了長城抗戰，再次與日軍交手。
以後，為了替張學良控製53軍萬福麟部，又前往萬部擔任副軍長兼119師師長。威震冀中的呂正操司令員，當時就是他的部下，也是他的好友。
黃顯聲並協助張學良策劃和實施了西安事變。1938年，黃顯聲到武漢活動爭取釋放張學良不果，經伍豪介紹，準備以我黨特別黨員的身份到延安組建新東北軍，不幸被國民當局方麵扣押，從此開始了十年的拘禁生活。
黃顯聲的被扣押，與東北軍內部鬥爭也有很大關係。黃是張學良最為親信的少壯派軍官，長城抗戰後，張學良深感老東北軍將領各顧妻子，腐化老朽，已經不堪改造，因此大力提拔少壯派軍官。黃顯聲就是其中的典型。
然而，這種做法明顯侵犯了占據高位的老牌將領的利益。張學良被扣以後，東北軍上層並非都盡全力營救，而是在蔣的拉打之下（分）裂，自相殘殺，可說與此有關。
失去了張學良支持的黃顯聲，也成為這些老牌將領的眼中釘。正是因為看到這一點，蔣才毫不猶豫地扣留了這位著名的抗(日)將領，他確信這不會影響他對於東北軍的使用。蔣深恨黃顯聲，因為從事後的情報得知，西安事變中，黃顯聲是張學良最主要的助手之一，而且態度強硬明朗。
在被扣押的十年時間裏，最初還給會武術的將(軍)戴著鐐銬，怕他逃跑，黃顯聲從不屈服，坦然自若。他在一封信中寫道“我現在雖然坐牢，但並沒有犯法，是為團體、為國家、為義氣而坐牢，問心無愧，將來生死存亡在所不計。”