儂智高在退回豈州的途中，仍然繼續致書大宋軍營，要求給一個豈州、田州節度使之類的頭銜，即刻罷兵。這個時候，如果宋朝答應儂智高內附，一可以終止損兵折將耗財的戰爭，二讓儂智高這條長槍鎮守桂西，就很難發生後來交趾屠城豈州的慘劇。可是，正當宋仁宗有點心動的時候，開封工曹梁適說：“若爾，則嶺表非朝廷有矣！”經這麼一說；仁宗又改變了主意，詔曰：“廣南能有捕獲智高者，授正刺史，賞錢三千貫，絹二千匹；獲智高母，授諸司副使，賞三千貫；獲賊將黃師必、黃瑋，授東頭供奉官，賞錢一千貫。”決心消滅儂智高。後來梁適還因此得到宋仁宗的嘉獎：“向非適言，南方安危，未可知也。”升任梁適為參知政事。（《宋史·梁適傳》）
十月，儂智高退到豈州。宋朝守軍棄城逃跑。
這時，交趾主動要求配合宋軍前後夾擊儂智高。狄青沒有答應。狄青在路上叮囑下屬，“戒諸將毋妄與賊鬥，聽吾所為”，不要擅自進攻儂智高。但是，廣西轉運使孫抗和廣西鈴轄陳曙有怨仇，故意不向陳曙傳達狄青的這個指示，相反，還夥同秘書監、桂州知州餘靖設圈套使陳曙出戰。十二月，陳曙沒辦法，隻好帶著8000步兵從昆侖關南麵的小路出發，繞過義軍把守的關口，但是，又在昆侖關山腳下的金城寨遇上儂智高的部隊。即刻交戰，結果宋軍不是戰死，就是逃跑，一敗塗地。後來，陳曙等人還因此被狄青砍掉了腦袋。至此，除了攻廣州城不克之外，儂智高與宋軍的對陣交鋒還沒有失敗的記錄。正因為這樣，儂智高根本就不把宋軍放在眼裏，驕傲輕敵，“中國名將如張忠、蔣偕之輩，皆望風援首。步兵易與，不足憂。所未知者，騎兵耳”。有人向儂智高提出，“騎兵利平地，宜遣人守昆侖關，勿使度險。使其兵疲食盡，擊之無不勝”。（《諫水紀聞》卷13）可是，儂智高心中的驕狂遠遠大於他的憂慮，他沒有接納這個非常重要的意見。
狄青率宋軍於皇佑五年（1053年）正月抵達賓州，在冬雨迷蒙之中大肆製造近期不會實施軍事進攻的煙幕，然後，利用儂智高的大意，在元宵節，成功地偷渡昆侖關，突破了儂智高的防線。關於這次軍事行動，有很多種說法，影響最大的源自宋人沈括《夢溪筆談》：
“時儂智高守昆侖關。青至賓州，值上元節，令大張燈燭。首夜燕將佐，次夜燕從軍官，三夜饗軍校。首夜樂飲徹曉。次夜二鼓時，青忽稱疾，暫起如內。久之，使人諭孫元規（孫汙），令暫主席行酒，少服藥乃出。數使人勸勞。．座客至曉，各未敢退。忽有馳報者雲：是夜三鼓，青已奪昆侖關矣。”
這樣，就有了上元三鼓奪昆侖的民間傳奇。
很早就有人懷疑沈括記錄的真實性了。民國二十六年（1937年）莫炳奎主修《寧縣誌》時，分析說，賓州到昆侖關95裏，狄青二更裝病，離席出發，隔兩小時——三更就報奪昆侖關，是不可能的。夜間偷襲，爬山奪關，當然非用步兵不可。步兵兩小時走95裏路，除非插翅飛行。莫炳奎老先生為印證他的分析，還專門從賓陽徒步到南寧。
更多的曆史記載是狄青是從昆侖關下發兵偷偷過關的，在昆侖關沒有發生大的戰鬥。《宋史·狄青傳》說：“明日，乃整軍騎，一晝夜絕昆侖關，出歸仁鋪為陣。”昆侖關到歸仁鋪還有100裏，如果是從賓州發兵，談何容易。莫炳奎在《寧縣誌》裏說，狄青走的依然是陳曙南走高田之路，繞過昆侖關是為兵法之“絕”。
這樣，在正月十八日早上，宋軍突然出現在歸仁鋪（今三塘）。此處離豈州城僅20裏。其實，狄青完全可以潛行到州城牆之下，為什麼狄青止於歸仁鋪？宋將劉幾對狄青說：“賊若退守巢穴，瘴毒方興，當班師以侯再舉。若恃勝求戰，此成擒耳。”（《宋史·劉溫史傳附劉幾傳》）大將孫河是這樣對狄青獻策的：“賊出上計，歸其巢穴；中計守豈州城自固，以久王師；下計與吾戰。今度其必出下計焉。何者？彼以天幸橫行大嶺之外，有驕我心，驕則必出，‘出則必敗。”（《孫威敏征南錄》）而在昆侖關與邕州城之間，“山林岩壑之險，不通人行，馬實難用”。隻有歸仁鋪的地勢稍為寬平，利於騎兵戰鬥。儂智高驕傲輕敵，沒有識破狄青的詭計，也沒有認識到歸仁鋪的地勢於己不利而倉促迎戰，更沒有預料到這是關係到南天國存亡的一戰。隻要儂智高拖延一下，宋軍就會被南方的氣候打敗。可是，儂智高被曾經的勝利衝昏了頭。狄青說：“（儂智高）親率全軍，結為一陣，輕兵搏我，驕氣淩人。”就這樣，戰爭地點選擇了歸仁鋪。