房玄齡於貞觀三年（公元628年）當上了左仆射（宰相）。他處理政事盡心竭力，“惟恐一物失所”。他“用法寬平”，深受李世民信任。因此，李世民詔令他主持製訂唐朝律令。他研究前朝的律令後認為：“舊法規定：兄弟分家各居時，有人受封，另外的兄弟不相及；而有人謀反，則另外的兄弟皆連坐死。孫子可以因襲祖父的官爵；而祖父犯罪，孫子則被流放。這些都不符合情理。”因此，他製定唐朝律令要“據禮論情”。他主持製定的唐律共500條，立刑名20等，其中笞刑5等，自10至於50；杖刑5等，自60至100；徒刑5等，自1年至3年，流（放）刑3等，白千裏至於3千裏；死刑2等，絞刑和斬首。這部唐律比隋律減死刑92條，減流刑71條，那些削煩去害、變重為輕的條目，多不勝紀。他還主持製定唐令1590條；又統一規定了枷（械頸刑具）、木醜（械手刑具）、鉗（金屬夾具）、钅巢（鎖具）、杖、笞等刑具的長短寬窄；還刪節唐朝建立以來的皇帝詔令，定留700條，頒布執行。房玄齡的法製思想與李世民是相同的，所以他主持製定的律令，得到李世民的首肯。
房玄齡崇尚儒學，所以極力推崇孔子。李淵當皇帝時，國學之中的廟堂以周公為先聖，孔子配饗。房玄齡等建議停祭周公，以孔子為先聖，顏回配饗。李世民詔令執行。在房玄齡等倡導下，唐朝大收天下儒士，根據他們的學識，分別予以錄用；還擴大各類學校招生。李世民多次親自到國學聽祭酒、博士講授儒學。四方儒士紛紛負書而至長安。吐蕃、高昌、高麗、新羅等少數民族酋長也派子弟進長安入學。國學之內學生“幾至萬人”，“儒學之興，古昔未有”。唐初形成這種教育興旺的局麵，是與房玄齡積極倡導分不開的。
唐太宗李世民晚年好大喜功，濫用民力。貞觀十七年（公元643年），朝鮮半島上的高麗和百濟聯兵進攻親唐朝的新羅。貞觀十九年（公元645年），李世民不聽勸諫，下詔進攻高麗，分水陸兩軍進兵，水軍由張亮率領，共4萬3千人、戰艦500餘艘，陸路由李勳率領，近10萬人。唐軍進攻高麗受到頑強抵抗，損兵折將，不得不於當年十月撤兵。後來，李世民又改用輪番攻擾的辦法，試圖先疲憊高麗後大舉進攻，結果也沒有得到多少好處，反而激起鄰國的不滿，國內人民怨聲載道。
房玄齡對李世民不恤民力征討高麗早就有不同意見，但由於李世民獨斷專行丟掉了善於納諫的好作風，且猜忌大臣，動輒殺人，所以他也不敢進諫。貞觀二十二年（公元648年），房玄齡病情已十分嚴重，對他的兒子們說：“吾受主上厚恩，今天下無事，唯東征未已，群臣莫敢諫，吾知而不言，死有餘責。”於是，他抱病上表稱：“老子曰‘知足不辱，知止不殆。’陛下功名威德亦可足矣，拓地開疆亦可止矣。且陛下每決一重囚，必令三複五奏，進素膳，止音樂，（那是因為）重人命也。今驅無罪之士卒（東征高麗），委之鋒刃之下，使肝腦塗地，獨不足憫乎！向使（如果）高麗違失臣節，誅之可也；侵擾百姓，滅之可也；他日能為中國患，除之可也。今無此三條而坐煩中國，內為前代雪恥（李世民東征高麗時稱：‘遼東本中國之地，隋氏四出師而不利，朕今東征，欲為中國報子弟之仇。’），外為新羅報仇，豈非所存者小，所損者大乎！願陛下許高麗自新，焚淩波之船，罷應募之眾，自然華、夷慶賴，遠肅邇安。”李世民見此表奏很受感動，說：“彼病篤如此，尚能憂我國家。”因此，他親往房玄齡府上，“握手與訣，悲不自勝”。房玄齡去世後，李世民賜他為太尉、並州都督，諡名文昭。