1937年，抗戰爆發，國民政府命令打響抗戰第一槍的馬占山將軍在大同組建東北挺進軍，做出收複東北態勢，其主力即為騎三師井得泉部與騎六師劉桂五部。由於敵我力量懸殊，察綏大部失陷，靠東北挺進軍殺回東三省的可能性顯然太小。但馬占山毅然向北移軍大青山畔的哈拉寨，以遊擊戰術縱橫伊克昭草原，並不斷率軍翻越大青山，向日軍腹地攻擊，成為晉綏側翼的一支重要力量。八年間日軍始終無法在這個地區徹底驅逐馬占山所部。
東北軍騎兵部隊在敵後的作戰一度有聲有色，馬占山之外，白鳳翔的熱河挺進軍也曾威脅多倫，輾轉轉戰，1939年才在日軍重兵攻擊下於固陽兵敗，地點和劉桂五戰死處僅距離幾十公裏。
在幾次穿越大青山的作戰中，劉桂五利用綏遠地廣人稀的特點，充分運用騎兵快速、凶狠的優點，打了就走，屢立戰功。1938年3月，為了配合傅作義部反攻綏遠的作戰，馬占山部再次翻越大青山，在日軍背後發動攻勢，乘虛攻占涼城、河口、托克托等地，生擒偽蒙古軍騎四團團長門樹槐，劉桂五並率騎六師攻占薩拉齊火車站，活捉偽蒙康王（後作為俘虜送歸重慶）切斷平綏鐵路。
傅的反攻和日軍酒井師團在晉北發動的攻勢恰好撞車，損失較大，但日軍因為平綏鐵路被切斷深感震驚，主力掉頭攻擊馬占山挺進軍。由於日軍吸取了和馬部騎兵作戰的教訓，組建了大編製的摩托化部隊，並在飛機配合下攻擊馬占山部，使主力是傳統騎兵的挺進軍陷入被動。此時，馬占山為勝利所激動，一時貪攻試圖收複整個綏北，還在繼續向東方百靈廟和武川方向攻擊，發現情況危急後回撤不及。4月20日，後退中的挺進軍被日軍截擊戰敗。劉桂五率部斷後，奮力阻擊，激戰兩天兩夜，22日，部隊在黃油幹子（今包頭附近）渡河時，馬占山司令部突遭日軍戰車襲擊，劉師長率部就地抵抗，掩護軍部撤離，不幸中彈殉國。
突圍的馬占山聽說劉桂五戰死，不顧危險返回後隊，撫屍大哭（馬與劉是東北軍時代的老友，袍澤情深）。因為戰況緊急，隻能著部下暫時將其遺體倉促掩埋在河岸附近的亂石中。
當時的中國政府追贈劉桂五為陸軍中將。一年後馬占山率部再出大青山，為劉桂五重建陵墓，穿石為忠烈祠，並立“抗日陣亡將士紀念塔”以作紀念。
起於草莽，殉於國家，大概就是說的劉桂五這樣的軍人吧。