9月24日，皇上親自確定了長孫無忌等人的爵位、封邑，叫陳叔達在殿下唱名宣示給大家，並且說：“我敘定你們的功賞，可能有不恰當的，應該各自談談。”當時，諸將爭功，亂哄哄地鬧個不停。淮安王李神通（李世民的叔父）說：“臣在關西舉兵，首先響應起義的大旗。而房玄齡、杜如晦等人專靠耍筆杆子，功勞在我上麵，我心裏不服氣。”皇上說：“叔父雖然首先響應起義舉兵，大概也是為了免禍。後來，竇建德吞並山東時，叔父全軍覆沒；劉黑闥再度叛亂來攻，叔父又被打得望風而逃。而房玄齡等人如同張良一樣運籌帷幄，坐在那裏就安定了社稷，論功行賞，本來該在叔父的前麵。叔父是國家至近的親人，對於您，我還有什麼可以吝嗇的呢？隻是不能憑私情而隨便封賞罷了。”諸將這才說：“皇上真是公道極了，即便是對淮安王也沒有私心，我們難道還敢不安分嗎？”於是都心悅誠服。
630年，即唐太宗李世民登基後第四年，房玄齡被提升為尚書左仆射，行宰相之職，在其後的近二十年中，他一直連任相職，直至七十歲病逝。
在任相職期間，房玄齡可謂至忠至勤，而且成績卓著，堪稱能相。史書上這樣稱讚他：“任總百司（總管政府中的各個衙門），虔恭夙夜（日日夜夜地謹慎虔誠地處理各類問題），盡心竭節，不欲一物失所（不讓一件事辦不妥當）。”
在選拔人才方麵，房玄齡十分謹慎。唐太宗曾經說過：“選用官吏是一件不可掉以輕心的事。用一君子，則許多君子就會慕名而來；若用一小人，許多小人也就會鑽營而來。”房玄齡知人善任，常向太宗推薦合適的人才，委以重任。
太宗的太子李治的府中有一位太子右衛率（主管太子的保衛），名叫李大亮，房玄齡很看重他，說他為人耿直，有西漢忠臣王陵、周勃的氣節，可以委以重任。不久，李大亮就被任命為房玄齡的副手。房玄齡在用人方麵，既不拘一格，又不求全責備，能夠揚其長而避其短。但如果一時找不到合適的人選，他也寧缺毋濫，決不做濫竽充數之舉。如管理財政申報開支的部門，很長時間沒有人選，但房玄齡認為這個部門關係到“天下利害”，是“民力所係”的地方，“寧虛其位，而不以與人”。
他這樣做，有時會招致別人說閑話，說他在授權方麵十分吝嗇。但他為了國家的利益，從不計較個人的聲譽。對於朝廷上的一些瑣事，他幾乎事無巨細，一概過問，不僅定期審查吏治、司法的得失優劣，甚至連宮室的營造、武庫裏的存儲數目，都要一一過問。史書說他“事無巨細，鹹當留意”，其認真負責的精神，著實令人感動。
在對李世民的進諫方麵，他也做得很突出，雖未能像魏征那樣屢屢犯顏直諫，但也能坦陳己意。其實，魏征對他也是很佩服的，魏征曾經說過，在事必躬親、言無不盡方麵，自己不如房玄齡。
一次，唐太宗忽然問周圍的大臣說：自古以來，草創開國的皇帝，把皇位傳給了子孫，多出敗亂的原因何在呢？房玄齡直言不諱地說：那都是因為皇上寵愛子孫，而子孫生長深宮，自幼享慣富貴，不識人間情偽，不懂國家安危，不能磨煉才幹的緣故。
唐太宗也有過不少荒唐之舉，如對高麗發動戰爭，不僅給高麗人民帶來了災難，也給本國人民帶來了慘重的損失，在多年的戰爭中，僅戰馬一項，就損失了十之七八。貞觀二十二年，唐太宗又要侵犯高麗，當時房玄齡已重病臥床，聽到這一消息後，立即給太宗上書，並對兒子們說：“當今天下安定，各得其所，唯有東征高麗，必會成為國家的大患。我雖不久人世，但知而不言，也會銜恨入土，死不瞑目。”太宗覽表以後，十分感動地說：“此人危篤至此，尚能憂我國家，實在是難得啊！”
房玄齡心地一片赤誠，為人胸懷寬廣，善於團結同僚，容易與人共事，並且注意發揮別人的長處。如經他推薦的杜如晦，是一個很有才能的人，史書上稱他“時軍國多事，剖斷如流，深為時輩所服”。房玄齡就注意發揮他善於決斷的長處，每和太宗有所謀劃，都要等杜如晦前來定斷，用房玄齡的話來說，就是“非如晦莫能籌之”，而杜如晦的很多看法，往往與房玄齡不謀而合。“房謀杜斷”，相得益彰，他們兩人的密切工作，與鉤心鬥角的官場習氣形成了鮮明的對照，成為流傳不絕的佳話。
房玄齡自幼就愛總結前朝滅亡的教訓，因而在任相職期間，他主持編撰了各類圖書，比如《晉書》以下至隋的六朝史的編寫。
貞觀二十二年（648年），房玄齡病危，太宗不斷派人看望，並親去探望，於房玄齡臨死前與他握手敘別。房玄齡死時，“太宗對之流涕”，足見君臣感情之深。
房玄齡能善始善終的原因有三：一是極早投奔李世民，曆史清楚，無查不清的問題；二是他至忠至勤，李世民確實離不開他；三是他雖有大權，但絕對構不成對李世民的威脅，多是辦理事務，為李世民提供谘詢，並無獨當一麵的真正權力。有這三條，隻要不是生於桀、紂之世，就能保全首領；生逢明君，則可成就一番事業。