魏征的病情日趨嚴重。他家中沒有正堂，原先太宗屢次要為他營造，都被他謝絕了。前尚書右仆射溫彥博剛正廉明，不愧為一代良臣，他病逝以後，家中沒有正室，靈柩就停放在側室裏。太宗得知這一情況後，才命令有關部門為之趕造了正室。為了此事，唐太宗感歎不已。幾年後的今天，魏征的病勢轉重，他自然提前考慮到讓這位名相壽終正寢的問題。於是，他便用正準備建造一座小殿的材料給魏征建造了正堂，5天就竣工了。太宗派遣宮廷使者帶著不加文飾的屏風、幾案、床等家具和素褥布被賜給魏征，以遂其崇尚節儉的誌向。魏征附表陳謝。太宗下詔：“觀卿書不如尋常，憂惋之情切朕懷意。處卿至此當（堂）為橫（宏）濟黎元，經圖達化耳，豈為朕一人而巳。何事果來相謝？”
魏征病勢轉重後，太宗放心不下。雖然魏征宅就在太極宮東南的水興坊，離宮城很近，他還派左屯衛中郎將李安儼住宿在魏家守候，一有情況，就馬上報告。賜給魏征的藥品、食物也很多，宮中派出的使者在道上絡繹不絕。
太宗曾兩次親臨魏宅探望。第一次去時，屏退左右，和魏征交談了很久，談得十分投機，次日又下手詔撫慰。第二次，是和太子承乾一起去的。魏征在席上讓人給披上朝服，拖著玉帶與他們相見。太宗見此情景，不禁潸然淚下，強忍悲傷進行撫慰，並問魏征有何要求。這時，魏征已病情垂危，腦海中唯有國家的安危。於是，他引用《左傳》中的話說：“嫠不恤緯，而憂宗周之亡！”表明自己除了掛心與太宗共同開創的偉業能否繼續發展外，別無他念，亦無他求。太宗準備把衡山公主嫁紿魏征長子叔玉，因此這次也攜她同來。太宗指著公主對魏征說：您勉強看一看新媳婦吧！可是魏征已經不能答謝了。這天夜裏，太宗夢見魏征，神色、眼神和平時一樣。次日早朝時，就聽到了魏征病逝的噩耗。這一天，是貞觀十七年（643年）正月十七日。
魏征逝世以後，在他的病榻旁發現了遺表一份。這是一份才寫了一半的草稿，上麵的字都很難辨認。其中可以辨識的語句有：“天下之事，有善有惡。任善人則國安，用惡人則國亂。公卿之內，情有愛憎。憎者惟見其惡，愛者惟見其善。愛憎之間，所宜詳審。若愛而知其惡，憎而知其善，去邪匆疑，任賢勿貳，可以興矣。”這就是他的臨終遺言！這位生前為國泰民安耗盡了心血的良相，臨終念念不忘的，仍是國家的安危。為唐朝政局的穩定，為了封建治世的拓展和國家的興旺，魏征一直奮鬥到了生命的最後一息。
唐太宗聞知魏征辭世的噩耗，立即親臨其家吊唁，哭得非常傷心。下詔“廢朝五日”。皇太子承乾也在西華堂舉哀，“悲不自勝”。諸王及文武百官、各地在京官員九品以上的都前往吊唁。賜司空、相州都督，諡號文貞，陪葬昭陵，並給羽葆、鼓吹、班劍40人。準備用一品官的隆重葬儀禮葬魏征。然而，魏征的妻子裴氏夫人執意辭謝說：“征素儉約。今假一品禮，儀物褒大，非征誌見許。”太宗為了尊崇魏征的誌向，於是改用白木車子、白布車帷送葬。
魏征出殯那天，太宗令九品以上的文武百官及各地在京的官員參加喪儀，送至開遠門外，太宗登上禦苑的西樓，望哭盡哀，並令晉王李治宣敕祭之。
唐太宗親撰碑文和挽歌，並“自書於石”。還特賜魏征家食實封900戶。