貞觀元年（627），李世民對自己的一班小弟論功行賞。房玄齡與長孫無忌、杜如晦、尉遲敬德、王君廓四人並列第二，進爵邢國公，賜實封一千三百戶。
淮安王李神通極為不滿：“當年舉義的時候，我是第一個率軍來相會的。而如今，房玄齡、杜如晦這樣的刀筆吏居然功居第一，我不服。”
李世民一聽，十分不爽，一點兒都沒給叔叔留麵子：“沒錯，當年你確實率兵來相助了，但是你並沒有親自參與戰鬥。竇建德南侵之時，讓你專征，結果你全軍覆沒。劉黑闥造反的時候，你望風而破。人家房玄齡有運籌帷幄、安定社稷的功勞，所以才居第一。”
將軍丘師利等人本來也想借機鬧事兒，一看李神通都被拍滅了，也全都熄了火。
此後，房玄齡簡直就是坐上了火箭，一路飆升。貞觀三年（629），攝太子詹事，兼禮部尚書；貞觀四年（630），任尚書左仆射，改封魏國公，監修國史；貞觀九年（635），加開府儀同三司；貞觀十一年（637），代襲宋州刺史，改封梁國公；貞觀十三年（639），加太子少師；貞觀十五年（641），女兒被選為韓王妃，兒子房遺愛娶了唐太宗的閨女高陽公主；貞觀十六年（642），進拜司空；貞觀十七年（643），李世民評定淩煙閣二十四功臣，房玄齡位列第五，加太子太傅。
貞觀二十三年（649）的時候，房玄齡已經身染重病。他的病情牽動著李世民的心。如果聽說房玄齡的病情稍有好轉，李世民便“喜見顏色”；如果聽說房玄齡的病情又加重了，李世民便“改容淒愴”。
雖到了彌留之際，但房玄齡心中還有一事未了，他不無悲愴地對自己的子女說：“現在，天下大治，國泰民安。隻是唯有這東征高句麗一事兒，實在是國家的大患啊。陛下一心要征服高句麗，大臣們都不敢犯顏勸止。我如果再不說的話，死都不能瞑目啊。”於是，房玄齡寫下了一生中最後一道奏疏，勸李世民停止征討高句麗。
李世民對房玄齡的忠誠高度認可：“此人危惙如此，尚能憂我國家。”但他並沒有因此而停止與高句麗的戰爭。
不久之後，房玄齡就去世了，享年七十。李世民廢朝三日，追贈房玄齡為太尉、並州都督，諡號為文昭。
房玄齡有三個兒子，長子房遺直，次子房遺愛，三子房遺則。房遺愛的老婆高陽公主是唐代公主中出了名的刺兒頭，她屢次挑撥房氏兄弟之間的關係。
高宗永徽年間，高陽公主誣告大哥房遺直“無禮於己”。高宗大怒，就讓舅舅長孫無忌調查此事。結果卻發現，高陽公主和房遺愛圖謀發動宮廷政變。長孫無忌借此機會將隋煬帝的外孫、李世民的三兒子吳王李恪也牽連進來。李恪、房遺愛、高陽公主、薛萬徹等全部被殺。
論功勞，杜如晦和房玄齡是一樣一樣的；但論身體，他卻差得不是一點兒半點兒了。老杜僅僅輝煌了不到三年，便病倒了，“表請解職”。李世民“許之，祿賜特依舊”，並“深憂其疾，頻遣使存問，名醫上藥，相望於道”。貞觀四年，杜如晦就病死了，時年僅四十六。
李世民傷心欲絕，好長一段時間神經都有些不正常。一次，李世民正在美滋滋地吃西瓜，猛然間想到了杜如晦，當時就沒了胃口，居然命人將自己吃剩的半個西瓜送到了杜如晦的靈前。要送你就送個整的，送了半個，還是你自己啃剩下的，你說九泉之下的杜如晦是該吃呢，還是不該吃？
還有一次，李世民賜給房玄齡一條黃銀帶，並對老房說：“當年，你和杜如晦同心輔佐我，現在到了我回饋你們的時候了，居然隻剩下你一個了。”說罷，李世民“泫然流涕”。哭了一會兒，他冷不丁又想起一出：“我聽說鬼神都很害怕黃銀帶。”於是，他便讓房玄齡將另一條黃銀帶送到杜如晦的墳頭上。列位，你說他也不想想，杜如晦現在不就是個鬼嗎，你送他黃銀帶，讓他收還是不收呢？
不過，死得早也有死得早的好處。杜如晦的早亡換來了李世民的“終始恩遇”，連史家都說“未之有焉”。
杜如晦有兩個兒子，長曰杜構，次曰杜荷。杜老二是個不安分的人。本來呢，他娶了李世民的閨女城陽公主，賜爵襄陽郡公，小子過得非常滋潤。但是，他偏偏參與了太子李承乾的叛亂，結果被殺。杜老大倒是個老實人，但架不住攤了這麼個弟弟，被流放到了嶺表，後來就死在了那裏。
有句老話怎麼說來著。對，虎父多敗兒。