唐統一大業基本完成後，北方的突厥不斷南侵，成為唐朝的主要敵人，尉遲敬德在與突厥的作戰中也屢立戰功。早在四年九月，尉遲敬德便曾擊退過突厥軍。武德六年（623年）七月初九，突厥侵犯原州。十一日，進攻朔州，右武侯大將軍李高遷被擊敗，尉遲敬德奉命帶兵救援。武德七年（624年）七月十二日，突厥襲擾隴州（治汧源，今陝西隴縣），尉遲敬德（時任護軍）再次奉命進擊突厥。
從太原起兵到統一全國過程中，李世民屢建奇勳，威望很高，並形成了以秦王府謀士和勇將為核心的實力雄厚的政治集團，秦叔寶便是其中之一，對太子李建成構成嚴重威脅。李建成為保住太子之位及皇位繼承權，與齊王李元吉結交，共同反對李世民。武德七年六月，李建成趁李淵去仁智宮（在今陝西宜君境）避暑，指使親信楊文幹發動叛亂，企圖除掉李世民，奪取帝位，但叛亂被很快平息，李建成也受到唐高祖李淵訓斥。武德九年（626年）六月，李建成在夜宴酒中下毒，致使李世民心中暴痛，吐血數升。
鑒於秦王府多曉將，李建成、李元吉欲收買諸將，以為己用。
由於尉遲敬德是李世民手下大將，所以便先向尉遲敬德下手。李建成首先用高官厚祿收買尉遲敬德，派人對他說：“願迂長者之眷，敦布衣之交，幸副所望也。”並贈．金銀器物一車。但尉遲敬德不為所動，推辭道：“敬德起自幽賤，逢遇隋亡，天下土崩，竄身無所，久淪逆地，罪不容誅。實荷秦王惠以生命，今又隸名籓邸，唯當以身報恩。於殿下無功，不敢謬當重賜。若私許殿下，便是二心，徇利忘忠，殿下亦何所用？”李建成聞訊大怒不已，從此不再與尉遲敬德往來。事後，尉遲敬德將此事告訴李世民，李世民對他說：“公之素心，鬱如山嶽，積金至鬥，知公情不可移。送來但取，寧須慮也。若不然，恐公身不安。且知彼陰計，足為良策。”李元吉等深忌尉遲敬德，知道他在李世民身邊要想除掉李世民就非常困難，見軟的不行，便來硬的。李元吉派刺客去行刺尉遲敬德，尉遲敬德知道後，故意把幾重門都大開，自己則安臥不動，刺客幾次潛入尉遲敬德庭院內，見此情景反而不敢下手。李元吉見行刺不成，便在唐高祖李淵麵前陷害他，李淵也正想剪除李世民的羽翼，便下詔將尉遲敬德逮捕，準備問斬。李世民聞訊趕忙營救，經多方麵周旋，才將尉遲敬德釋放。這樣，李建成、李元吉對尉遲敬德的軟硬兼施均未得逞。李建成、李元吉收買程知節、段誌玄等秦府勇將的計劃也沒能成功（而李世民卻用重金收買了李建成部將常何和太子率更丞王晊）。於是改為陷害秦府謀臣房玄齡、杜如晦，二人被唐高祖李淵逐出秦府。此時李世民的心腹隻剩下長孫無忌尚在秦府中，尉遲敬德、長孫無忌與雍州治中高士廉、左候車騎將軍侯君集等日夜勸李世民殺李建成、李元吉，但李世民仍猶豫未決。
時突厥鬱射設率數萬騎兵入塞，圍攻烏城（今山西盂縣西北）。
李建成趁機推薦李元吉代李世民督諸軍北征，李淵命其率右武衛大將軍李藝（為太子黨人）等前去救援。李元吉奏請抽調秦府勇將尉遲敬德、程知節、段誌玄和秦叔寶等隨軍，以削弱李世民勢力，然後趁機將其除掉。李世民從王晊那裏得知李建成欲在為李元吉餞行時殺害他，便將此事告訴了秦府的文臣武將。尉遲敬德知道後，便與長孫無忌一起規勸李世民：“大王若不速正之，則恐被其所害，社稷危矣。”李世民聽後歎息道：“今二宮離阻骨肉，滅棄君親，危亡之機，共所知委。寡人雖深被猜忌，禍在須臾，然同氣之情，終所未忍。欲待其先起，然後以義討之，公意以為何如？”尉遲敬德說：
“人情畏死，眾人以死奉王，此天授也。若天與不取，反受其咎。雖存仁愛之小情，忘社稷之大計，禍至而不恐，將亡而自安，失人臣臨難不避之節，乏先賢大義滅親之事，非所聞也。以臣愚誠，請先誅之。王若不從，敬德言請奔逃亡命，不能交手受戮。且因敗成功，明賢之高見；轉禍為福，智士之先機。敬德今若逃亡，無忌亦欲同去。”但李世民仍然猶豫未決。長孫無忌又說：“王今不從敬德之言，必知敬德等非王所有。事今敗矣，其若之何？”李世民說：“寡人所言，未可全棄，公更圖之。”尉遲敬德又說：“王今處事有疑，非智；臨難不決，非勇。王縱不從敬德言，請自決計，其如家國何？其如身命何？且在外勇士八百餘人，今悉入宮，控弦被甲，事勢已就，王何得辭！”
在眾人的勸說下，李世民終於決定先發製人。但還需與房玄齡、杜如晦二人再仔細商討一下，於是便去召二人，但二人由於已被趕出秦府，不準他們再進。李世民又讓長孫無忌密召二人，但二人卻說：“有敕不許更事王，今若私謁，必至誅滅，不敢奉命。”李世民聞訊大怒不已，便對尉遲敬德說：“玄齡、如晦豈背我耶？”然後又將自己的佩刀摘下交給尉遲敬德，並說：“公且往，觀其無來心，可並斬其首持來也。”尉遲敬德知道房玄齡、杜如晦是李世民的重臣，對起事的成敗起著很大的作用，於是又與長孫無忌一起曉示二人：