兩支大軍在馬邑郡的城牆下展開大戰，突厥方將近20萬人，隋軍有守城兵幾萬人，城外還有鐵甲軍二萬五千人。
薛萬徹的鐵甲軍布起了銅牆陣，大盾如同銅牆鐵壁般將整支部隊保護起來（也包括李建成的小部隊），突厥的弓箭盡皆被大盾擋住，隻發出雨點落在鐵盆裏的聲音。
鐵甲軍透過盾牌上的孔放箭，連續射了很多輪箭，射倒不少突厥兵。
薛萬徹見時機已到，就下令全軍突進。
薛萬徹大聲喊：“小的們，全體向城池方向突進。”
鐵甲軍：“殺啊，衝啊……”鐵甲軍的銅牆陣以排山倒海之勢衝向城牆。
突厥兵隻感到很多麵銅牆鐵壁朝自己撲來，這些銅牆鐵壁層層疊疊的，仿佛海浪一般洶湧澎湃。突厥的騎兵都是輕騎兵，難以抵擋這鐵甲的洪流，紛紛向兩旁退避。鐵甲軍很快就都來到了城牆下，李建成的小部隊也跟著一起來到了城牆下。
薛萬徹：“李公子，機會來了。鐵甲軍隻要入城，主城就可以有充足的兵力進行防守。”
李建成：“我明白了。”
李建成立刻向城牆上喊話：“快開城門。”
城門很快打開，李建成帶騎兵率先進入。
突厥可汗始畢一見隋軍要入城，立刻招呼手下進攻。
始畢：“勇士們，別讓他們入城，給我上，殺光他們。”
突厥兵一齊朝城門殺來，鐵甲軍顯得有些慌亂。薛萬徹見狀，立刻大喝一聲：“不要亂，集中精神布好銅牆陣。”鐵甲軍立刻解除了慌亂狀態，銅牆陣也布得更嚴密了。
薛萬徹找來了副將杜子騰，下令：“副將，你帶人按秩序入城。”
杜子騰：“是。”
鐵甲軍在杜子騰的帶領下很有秩序地入城，薛萬徹親自斷後。
突厥兵靠近城門，薛萬徹揮舞狂野砍刀將他們逼退。
始畢大怒：“給我上，衝進城裏。”
鐵甲軍已經全部進入了城池，隻剩薛萬徹一人還在外麵。薛萬徹大喊：“快關城門。”
城池裏的守軍懼怕突厥兵進來，立刻就照做了。
城門一點一點的關上，很快隻剩下隻容一人進入的距離，突厥兵將薛萬徹三麵包圍。
在千鈞一發之際，薛萬徹將刀拋進城門裏，然後使出士兵刀法中的招式著地打滾，翻滾進了城門裏。薛萬徹滾進城池裏後，城門也剛好關上。
始畢氣得暴跳如雷：“可惡，被他跑了，給我攻城。”
突厥軍師立刻上前阻止：“可汗且慢，我們應該先退兵。”
始畢：“什麼？你要我退兵？”
突厥軍師：“是的，敵人已經進入了城池裏，現在這座城池已經可以抵擋我們的大軍攻城。”
始畢：“那我們該怎麼辦？”
突厥軍師：“先退兵，保存實力，以圖後計。”
始畢：“有沒有其他辦法？”
突厥軍師：“暫時沒有。”
始畢咬牙切齒地說：“退兵，回營。”突厥的大軍很快全部離開了戰場。
待鐵甲軍都入城後，薛萬徹最後一個入城。
薛萬徹跟著李建成登上了城牆，李淵親自過來迎接。
李淵：“將軍今日前來，真是令山西久旱逢甘雨啊！”（注：馬邑和太原都屬於山西。）
薛萬徹：“唐國公言重了，我不過是奉了皇上的命令前來支援。”
李淵：“將軍的軍隊真是驍勇善戰，令老夫大開眼界。”