太宗清楚地意識到就目前的情況而言，自己已經完全占有了優勢。天下一統，政治清明，國家經濟繁榮，軍隊訓練有素，這是戰勝突厥威脅的內部條件；突厥內部分裂，逐漸衰落，外部條件也已成熟。現在隻是缺少一個有利的時機而已。
貞觀三年（公元629年），這個反攻的時機終於到來了。這一年，很多部落紛紛內附。八月頡利可汗也上表稱臣。
代州都督張公謹上書報告了突厥的情況：
（一）頡利縱欲逞暴，誅殺忠良，包庇奸佞；
（二）薛延陀等部皆叛；
（三）突利、拓設、欲穀社皆得罪；
（四）塞北霜旱，糧食絕收；
（五）頡利疏其族類，親委諸胡，胡人反複，大軍一到，必生內變；華人入北其眾甚多，居住險要之地，我軍出塞，自然響應。
太宗終於抓住了一個名正言順的出兵理由，即：頡利可汗既請和親，又援助梁師都。他命令兵部尚書李靖為行軍總管，張公謹為行軍副總管征討突厥。結果還未開戰，突厥一方便有9人率3000騎來降，太宗甚是大喜。
十月，突厥進軍西河，結果均被肅、甘二州刺史所擊敗，俘虜千餘口。這時，太宗又任命並州總管李勣為通漢道行軍總管，兵部尚書李靖為定襄道行軍總管，靈州大都督薛萬徹為暢武道行軍總管，華州刺史柴紹為金河道行軍總管，共十餘萬大軍，均受李勣節製，分兵出擊匈奴。不久，便傳來了任城王李道宗破突厥於靈州的捷報。
十二月突厥可汗入朝。
太宗很高興地說：“過去太上皇因百姓之故，對突厥稱臣，我常痛心疾首，現在單於稽顙，我大唐終於可以揚眉吐氣，洗雪國恥了。”
為了徹底消滅突厥的主力部隊，貞觀四年正月，太宗命李靖帶騎兵三千，從馬邑到惡陽嶺。
突厥頡利可汗萬萬沒有預料唐軍猶如天降。大驚呼道：“唐如不傾國而來，李靖怎敢孤軍到此？”
突厥兵驚恐萬分之下，退至磧口。李靖派人行反間之計，又招來了一部分將領受降。
次年二月，李靖在陰山大破頡利軍，頡利逃往鐵山，可是餘眾還有數萬。李勣出雲中，大破突厥於白道。頡利派執失思力入見謝罪，請舉國內附，自己入朝。
料事如神的太宗分析到頡利反複無常，投降隻是緩兵之計，無非拖延時間，等到草青馬肥，逃入漠北。於是一方麵派唐儉為使慰撫，一方麵又令李靖率兵迎頡利，並與李勣在白道會師。
張公謹不解地向李靖問道：“既然皇上已準投降，已派使者到突厥營，為什麼還要派李將軍去迎敵呢？”
李靖甚是了解太宗的心思，他說道：“這就是韓信破齊的策略，舍一唐儉而滅突厥，有何不可。”
張公謹這才明白了皇上的意圖，服首感歎道：“我主英明啊！”最後他又問李將軍將怎樣把其一舉殲滅？
李靖說道：“頡利雖敗，但其人數眾多，若逃往磧北，和當地部落聯合，勢力必然有所恢複，再加上路途遙遠，到時我們想追都來不及了。現在皇上準許他們投降，他們自然沒有防備，我若選精騎一萬，帶二十天幹糧前去襲擊，定能一舉殲滅。”於是李靖連夜發兵，李勣隨後接應，到達陰山，遇突厥千餘帳，俘而隨軍。