太宗派溫彥博批評了魏征。
魏征拜見太宗，說：“我聽說，君臣同心，是謂一體，怎麼能為自己的名聲而避嫌疑呢？如果人人都隻要求明哲保身，國家的興亡就很難料定了。”
太宗恍然大悟，說：“我終於醒悟了。”
魏征說：“我希望作一個良臣，不希望作忠臣。”
太宗說：“忠臣和良臣有什麼區別。”
魏征說：“稷、契、咎陶是良臣，龍逢、比幹是忠臣。良臣使自己有美名，使國君有顯號，子孫傳承，流祚無疆。忠臣，自己被誅，國君昏惡，國破家亡，隻得到空名。這就是忠臣和良臣的區別。”
太宗說：“非常正確。”
魏征對唐太宗的不對之處敢於直言。
有一天，太宗問：“我們的國家治理得如何？”
魏征看到太宗有自滿之意，回答說：“陛下在貞觀之初，引導人們提意見、建議。三年之間，見提意見、建議的人就高興，並積極采納。再過一兩年，勉強接受意見、建議，但始終有不高興的意思。”
太宗很吃驚，問：“你憑什麼證明這一點？”
魏征說：“陛下初即位時，判元律師死罪，孫伏伽認為按照法律不應該死罪，陛下將蘭陵公主園賞賜給他，價值百萬。有人說：‘賞得太重。’陛下回答：‘我剛即位，還沒有提意見和建議的人，所以要重賞。’這就是引導人們提意見、建議。後來柳雄訴隋資案，調查下來是假的，要將他處死。戴胄說應隻判徒刑。陛下對戴胄說：‘如此堅定不移地依法辦事，就不怕濫用刑罰了。’這就是高興聽取意見。最近皇甫德參上書說：‘修洛陽宮是勞民，收地租是厚斂；社會上流行婦女挽高髻是從宮中學來的。’陛下很憤怒，說：‘他是要國家不征一人服役，不收一顆地租，宮中人都不留頭發才遂心意。’我奏道：‘下臣上書，語言不激烈不能引起重視，語言激烈了，就接近訕謗。’這時，陛下雖然聽取了我的意見，賞給帛絹而罷，但心裏總是不高興，這就難接受批評建議了。”
太宗恍然大悟：“不是你，沒有人能給我說這樣的話，人往往自己看不到自己的缺點。”
唐太宗曾說：“貞觀以前，跟隨我平定天下，功勞要算房玄齡；貞觀以後，納忠諫，糾正我的錯誤，為國家長治久安，魏征功勞最大；即使是古代的名臣，也超不過他們。”
他解下自己的佩刀，賜給二人。
魏征給唐太宗提的建議，大多數被唐太宗采納，魏征成為中國曆史上最著名的諫臣，貞觀七年，升為侍中。尚書省有不能決斷的事情，太宗命魏征裁決。魏征對法律不太熟悉，隻要大體合情合理即可，人人悅服。晉升為光祿大夫，封鄭國公。
魏征年老多病，要求辭職。
唐太宗說：“你看到黃金在礦石裏不足為貴，金匠把它冶煉出來製成器具，人們都當做寶貝。我好比金礦需要你這樣的良匠加以磨礪。你雖有病，但還沒有衰老，怎麼能退休呢？”
魏征再三請退，唐太宗留得更緊。拜為知門下省事。
長孫皇後死後，葬在昭陵，太宗在宮苑中修高台，遙望昭陵，帶魏征一起登台。
魏征看了很久說：“臣眼昏花，看不見。”
太宗指示方向讓魏征看。
魏征說：“這是昭陵嗎？”
太宗說：“對，正是。”
魏征說：“臣以為是望獻陵，如果是昭陵我早就看見了。”
太宗痛哭一場，命撤毀看台。原來，魏征之話的意思是：“臣隻道陛下思慕太上皇，所以認為是望獻陵。若是皇後的昭陵，早已看見了。”太宗一聽魏征說起父皇，心裏感動，不覺泣下。想到自己不是思念先皇，而隻是思念皇後，舉動不妥，於是命人拆毀此觀，不再登了。
貞觀十七年（公元643年），魏征病重，他家無正廳，太宗停建宮中一小殿，用其材為魏征蓋一正廳，五天完工，賜給素褥布被，彰其節儉作風。派中郎將駐魏府第，隨時報告，傳病情、藥物、膳食，盡其所用，路上使者來往不絕。太宗親自問病，到天黑才回。第二天早晨，魏征去世，太宗親往痛哭，罷朝五日。
魏征少不得誌，連投數主，不得其人，後成太宗政敵，太宗不記前嫌，一再提拔重用，成為大唐名臣，為貞觀之治立下了不朽功勳。