然而此時，曆史卻和漢武帝以及三十萬漢軍開了一個大玩笑：漢軍興師動眾，勞民傷財，卻無功而返，功虧一簣。漢武帝本意是要初戰必勝，既可大傷匈奴元氣，安定邊塞，又可大長漢朝威風，堵塞主和派的饒舌之口。更重要的是，可以體現自己決策的無比正確性，為天下士庶樹立一個冠絕百代的聖明天子的形象。可是，這樣一場周密的策劃卻因為一個貪生怕死的亭尉而前功盡棄。
事情的經過是這樣的：軍臣單於馬不停蹄地趕路，不知不覺進入漢朝邊界、到了武州（今山西左雲縣南）地區，這裏距離馬邑城不到百餘裏，軍臣單於見前麵就是山嶺地區，不由得放慢了腳步。他向四周看了看，在草地上有許多馬匹在安閑地吃草，但奇怪的是竟沒有一個人影。原來聶壹為了讓單於上當，除在馬邑城高掛幾顆頭顱外，還在城外百餘裏的地方散放畜群，以製造太平假象。不想聶壹弄巧成拙，卻忘了派人看管這些牛馬，這反而讓軍臣單於生了疑心，他喝令自己的十萬騎兵全部都停下來。
為了探聽情報，軍臣單於猛然帶兵撲向不遠處的一個亭堡。亭堡是了望敵情、聯絡消息用的。每一百裏有一個亭堡，由亭尉和一些士兵把守。那亭尉已經接到軍令，要引誘匈奴進入馬邑的伏擊圈。
軍臣單於沒費力氣就攻下了亭堡，抓住亭尉，他拿出刀架在亭尉的脖子上，嚇唬他說：“你把實際情況老老實實地告訴我，我會重重賞你；要是你敢撒半句謊，我便砍掉你的腦袋。”
那個亭尉貪生怕死，還以為軍臣單於已經知道了伏擊計劃，馬上就把漢朝軍隊的計劃和布置全盤供了出來。軍臣單於一聽，嚇出一身冷汗，慌忙蹦了起來，他嚎叫說：“我也覺得有些不對勁，但沒想到這裏竟有這麼大個陰謀。”他立刻下令全軍火速撤退。匈奴的十萬大軍狂奔到自己的邊界上，軍臣單於這才緩了口氣，他心中暗自慶幸，對臣下說道：“我得到亭尉，真是天意。上天叫亭尉說了實話，我不能不賞他。”軍臣單於馬上封那個亭尉為“天王”。
這時，王恢已經帶兩三萬人抄出代郡，從北邊迂回想去截斷匈奴的退路。忽然聽到匈奴進到武州就退回去了，王恢氣得半死。他領了兩三萬人馬怎敢和軍臣單於十萬騎兵對抗呢？為了保全自己的性命，他不敢追擊匈奴，沒有看見匈奴就退回來了。
韓安國帶領著三十萬人馬在馬邑周圍埋伏死等，到了幾天也沒見一個匈奴兵的影子，韓安國就派士兵前去打探，這才知道匈奴已經逃回去了。韓安國隻好臨時改變計劃，率領大軍追了上去。他們追到邊界上，也沒見到匈奴兵的影子。韓安國也怕這樣回去不好交差，就派使者去約軍臣單於在馬邑城較量一下，軍臣單於說死也不上當，他一口回絕了韓安國的要求。韓安國無可奈何，隻好垂頭喪氣地帶領大軍空手而還。
漢武帝為此龍顏大怒，首先責問王恢：“你為什麼違反軍令，不僅不狙擊敵人，而且也沒有襲擊匈奴的輜重？”
王恢有苦難言，他解釋說：“臣不敢有違軍令。但隻有等單於的大軍進入馬邑與漢軍交戰了，我用兩三萬人馬才可以攻擊他的運輸部隊。現在單於識破了我們的計劃，十萬人馬一起回兵，前隊變後隊，後隊變前隊。他們的運輸部隊在前麵，後麵跟著攻擊性強的士兵，我這兩三萬人怎麼能敵得過他的十萬精兵呢？如果要打，準保全軍覆沒。我知道我回來是要被斬首的，但我完整地向陛下交還了這兩三萬士兵。”
漢武帝並沒有被王恢一席話的感動，他現在最想做的事，就是殺了王恢給自己挽回一點麵子。於是，劉徹下令把王恢押入大牢，等待時機把他處決。
韓安國和其他將領雖勞而無功，但也沒有什麼過錯，況且韓安國曾反對過這次用兵，所以，漢武帝也就沒有追究他們的責任。
經廷尉的審理，王恢觀望曲行避敵，當斬。王恢托家人以千金賄賂丞相田蚡，讓他幫忙說情。田蚡也不敢直接勸說武帝，就跟皇太後說：“馬邑伏擊戰雖然沒打成，但如果殺掉王恢，就等於為匈奴報仇。”皇太後又把田蚡的話告訴給武帝，武帝說：“馬邑伏擊戰是王恢首先提出來的，興師動眾落了一場空，雖然單於逃脫了，但王恢若能及時出擊，截其輜重，還能有所收獲，以告慰天下。今天如果不殺王恢，怎麼向天下人交代呢？”王恢得知武帝的話後，自知性命難保，便在獄中自殺了。
馬邑之謀雖然失敗了，但武帝全麵反擊匈奴的決心已經不可動搖。漢武帝全麵改革了軍事體製，設大將軍加“侍中”的統兵製度取代太尉；改革兵役製度，調整軍隊各兵種的構成及訓練方式；並果斷地啟用了一批驍勇善戰的年輕將領。經過一番改革，漢軍的素質和戰鬥力有了明顯的提高，大規模反擊匈奴的準備完成了。
龍城之戰，名將衛青脫穎而出軍臣單於從馬邑脫身後，便開始重整旗鼓，揮師南下，於公元前129年發動了一次大規模的入侵中原戰爭。匈奴兵一路燒殺搶掠，長驅直入，先頭部隊一直攻到了上穀地區。