史書中關於房遺愛和高陽公主的記錄不多。其實這對男女就是兩個被他們威名赫赫的父親寵壞了的孩子，他們的婚姻在當時也很正常，公主下嫁宰相之子，標準的政治聯姻。像他們這樣的，在古時各個朝代比比皆是。他們之所以出名，是因為高陽的放蕩，而且她的情人大都是和尚道士，於是就成了家們的寵兒。他們之所以雙雙被殺，是因為他們的愚蠢和自私，成了爭權奪利的政治犧牲品。雖然一個貴為宰相公子，一個尊為公主，但對於大唐來，這是兩個無足輕重的人物。但正是這兩個人物，卻累得李恪、李元景、薛萬徹丟了性命。借用大將軍薛萬徹臨刑前的一句話：“薛萬徹大健兒，留為國家效死力，豈不佳，乃坐房遺愛殺之乎！”可悲！可歎!
《舊唐書列傳第十六》：
……玄齡自以居端揆十五年，女為韓王妃，男遺愛尚高陽公主，實顯貴之極，頻表辭位，優詔不許。……即日授其子遺愛右衛中郎將，遺則中散大夫，使及目前，見其通顯。……太宗見表，謂玄齡子婦高陽公主曰：“此人危惙如此，尚能憂我國家。”……次子遺愛，尚太宗女高陽公主，拜駙馬都尉，官至太府卿、散騎常侍。初，主有寵於太宗，故遺愛特承恩遇，與諸主婿禮秩絕異。主既驕恣，謀黜遺直而奪其封爵，永徽中誣告遺直無禮於己。高宗令長孫無忌鞫其事，因得公主與遺愛謀反之狀。遺愛伏誅，公主賜自盡，諸子配流嶺表。遺直以父功特宥之，除名為庶人。停玄齡配享。
《舊唐書·本紀第四高宗上》：
冬十月戊戌，幸同安大長公主第，又幸高陽長公主第，即日還宮。……二月乙酉，遺愛、萬徹、令武等並伏誅；元景、恪、巴陵高陽公主並賜死。
《舊唐書·列傳第十五》：
敬宗奏言無忌謀反有端，帝曰：“我家不幸，親戚中頻有惡事。高陽公主與朕同氣，往年遂與房遺愛謀反，今阿舅複作惡心。近親如此，使我慚見萬姓。”
《新唐書列傳第八諸帝公主》：
合浦公主，始封高陽。下嫁房玄齡子遺愛。主，帝所愛，故禮異它婿。主負所愛而驕。房遺直以嫡當拜銀青光祿大夫，讓弟遺愛，帝不許。玄齡卒，主導遺愛異貲，既而反譖之，遺直自言，帝痛讓主，乃免。自是稍疏外，主怏怏。會禦史劾盜，得浮屠辯機金寶神枕，自言主所賜。初，浮屠廬主之封地，會主與遺愛獵，見而悅之，具帳其廬，與之亂，更以二女子從遺愛，私餉億計。至是，浮屠殊死，殺奴婢十餘。主益望，帝崩無哀容。又浮屠智勖迎占禍福，惠弘能視鬼，道士李晃高醫，皆私侍主。主使掖廷令陳玄運伺宮省禨祥，步星次。永徽中，與遺愛謀反，賜死。顯慶時追贈。
《新唐書列傳二十一房杜》：
……疾甚，帝命鑿苑垣以便候問，親握手與決。詔皇太子就省。擢子遺愛右衛中郎將，遺則朝散大夫，令及見之。……次子遺愛，誕率無學，有武力。尚高陽公主，為右衛將軍。公主，帝所愛，故禮與它婿絕。主驕蹇，疾遺直任嫡，遺直懼，讓爵，帝不許。主稍失愛，意怏怏。與浮屠辯機亂，帝怒，斬浮屠，殺奴婢數十人，主怨望，帝崩，哭不哀。高宗時，出遺直汴州刺史，遺愛房州刺史。主又誣遺直罪，帝敕長孫無忌鞫治，乃得主與遺愛反狀，遺愛伏誅，主賜死。遺直以先勳免，貶銅陵尉。詔停配享。