光為斛律後父，累世勳貴，一門衣錦。弟羨為幽州刺史行台尚書令，雅善治兵，士馬精強，斥堠嚴整，突厥嚐加畏憚，稱為南可汗。長子武都，為開府儀同三司，領梁、兗二州刺史，尚高洋女義寧公主。光父金在日，嚐語光道：“我雖不讀書，聞古來外戚，如漢朝梁冀等，無不傾滅。女若得寵，諸貴人必多妒忌，女若無寵，天子又多生憎。我家以忠勤致貴，斷不可借女生驕，我本不欲爾女入宮，無如累辭不獲，深以為憂！”炎炎者滅，隆隆者絕，斛律金頗知此義，可惜後來複蹈此轍。及金年老去世，光頗遵父訓，持身節儉，事主忠誠，不好聲色，不貪權勢，杜絕饋遺，罕見賓客。每當朝廷會議，常獨後言，言必合理，或有疏奏，使人執筆起草，自己口授，概從樸實。行軍仿乃父遺法，營舍未定，終不入幕。在營不脫甲胄，臨陣時輒身先士卒，士卒有罪，惟用杖撾背，未嚐濫殺，眾皆樂為效力。自洛陽鏖兵後，見七十三回。受官右丞相，領並州刺史，屢與段韶出兵攻周，周勳州刺史韋孝寬，也是一員良將，與光交戰汾北，竟至敗北。光得拓地五百裏，就西境築十三城，立馬舉鞭，指畫基址，數日告成。段韶亦得拔周定陽，擒歸汾州刺史楊敷。敷至鄴都，不屈被殺。齊主緯已寵任群小，不願用兵，召還光、韶兩軍。韶未及還鄴，病歿軍中。韶為神武皇後婁氏甥，即段榮子。將略與光相亞，然性頗好色，嚐納魏黃門侍郎元妻皇甫氏為妾，寵過正嫡，時論因劣韶優光。韶亦北齊名將，故隨筆帶敘生卒。餘如先朝勳戚，百戰功臣，均依次謝世。獨光尚巋然獨存，為齊柱石。周人不敢越境生事，亦未嚐自誇功績。
惟周勳州刺史韋孝寬，被光殺敗，嚐欲報恨，特構造謠言，使間諜傳入鄴中，有“百升飛上天，明月照長安”二語；又雲：“高山不推自崩，槲木不扶自舉。”祖知言中寓意，索性又續下二句道：“盲老公背受大斧，饒舌老母不得語。”因暗令小兒遍歌市中。穆提婆聽著，入白令萱。令萱未盡得解，因召入詢語意。故意想了一會，乃笑說道：“得著了！得著了！百升是一‘斛’字，明月是斛律丞相表字，盲老公是指，饒舌老母是指尊顏，餘言可不煩索解了。”令萱惶急道：“如此說來，非但危及爾我，並且危及國家，怎可不即日啟聞！”遂並將謠言入啟齊主，且為齊主解釋意義。齊主遲疑道：“莫非斛律丞相尚有異圖麼？”即接入道：“斛律氏累世掌兵，明月聲震關西，豐樂羨字豐樂威行突厥，女為皇後，男尚公主，今有此謠言，正足令人生畏呢！”齊主不答，俟等趨出，召問領軍韓長鸞，長鸞卻謂斛律光必無貳心，乃擱置不提。見宮廷中毫無舉動，因複入見齊主，稱有密啟。齊主屏去左右，唯留幸臣何洪珍在側。尚未及言，齊主緯即與語道：“前得卿啟，便欲施行，韓長鸞謂必無此理，所以中止。”何洪珍不待言，搶先進詞道：“若本無此意，可作罷論；既有此意，尚未決行，倘事機泄露，反為不妙！”亦加說數語，請齊主從洪珍言。齊主緯乃點首道：“洪珍言是，我知道了！”才趨出。
緯本怯弱，終未能決。會又接丞相府佐封士讓密啟，略言斛律光奉召西歸，即欲引兵逼主，事不果行。今聞該家私蓄弩甲，及奴僮千數，且常遣使至豐樂武都處，陰謀往來，若不旱圖，變且不測雲雲。這也是由祖唆使出來。緯覽此密啟，因語何洪珍道：“人心原是靈敏，我常疑光欲反，不意果然！”實是呆鳥，還自誇靈敏麼？說著，即命洪珍轉告祖，並向問計。說道：“這有何難！可由皇上賜一駿馬，但說明日當遊幸東山，王可乘此馬同行。那時光必入謝，隻須二三壯士，便可捕誅此獠。”洪珍即還報齊主，齊主緯依議施行，果然光中計，單騎入謝，行至涼風堂，下馬步趨，驀有人從後猛撲，幾至被仆。幸虧腳力尚健，兀自站住，回顧身後，但見劉桃枝怒目立著，因嗬叱道：“桃枝你如何慣作此事？我實不負國家！”桃枝不答，複麾集力士三人，把光撲倒，用弓弦冒住光頸，將光扼死，頸血濺地，曆久猶存。可稱為碧血千秋。
於是由齊主下詔，誣光謀反，遣宿衛兵至光第，拘執光子世雄、恒伽，勒令自盡。惟少子鍾年僅數齡，幸得免死。祖使郎官邢祖信籍沒光家。祖信報，得弓十五，宴躬箭百，刀七，賜槊二。厲聲問道：“此外尚有何物？”祖信亦抗聲道：“得棗杖二十束，聞擬處置家奴，凡奴仆犯私鬥罪，杖一百。”不覺增慚，柔聲與語道：“朝廷已加重刑，郎中何必代雪呢！”祖信愴然道：“祖信為國家惜良相！”說畢趨退。旁人咎他過直，祖信道：“賢宰相尚死，我何惜餘生呢！”此人亦不可多得，故特敘入。
齊主又遣使至梁州，殺光長子斛律武都，再命中領軍賀拔伏恩，乘驛捕斛律羨。伏恩至幽州，尚未入城，門吏馳入報羨道：“來使衷甲，馬身有汗，恐不利將軍，宜閉門不納！”羨叱道：“敕使豈可疑拒？”遂出迎伏恩。伏恩宣詔畢，即把羨拿下，就地取決。羨臨刑自歎道：“富貴至此，女為皇後，公主滿家，天道惡盈，怎得不敗！”遂從容受刑，五子皆死。伏恩等還都複命，除陸令萱母子及祖奸黨外，無不稱冤。獨周將軍韋孝寬得信大喜，自幸秘計告成，急報知周主邕。周主也喜出望外，下詔大赦，舉朝慶賀，互相告慰道：“斛律受誅，齊虜在吾目中了！”為周滅齊張本。
齊主緯後斛律氏，貌本平庸，未得主寵，至是亦連坐被廢，遷居別宮。胡太後自愧失德，求悅齊主，特召入兄女，炫服盛裝，與齊主相見。齊主是登徒子一流人物，見有姿色女郎，差不多肢體俱酥。當下問明姓氏，乃是前隴東王胡長仁女。父已受誅，女尚未字，樂得把她留住，做一對中表鴛鴦。胡女已受太後密囑，曲意承歡，齊主緯越加憐愛，當即冊為昭儀。就中有一個情敵，就是弘德夫人穆舍利。穆舍利已生一男，取名為恒，齊主未有儲嗣，特命斛律後撫養。才閱半年，即立為皇太子。此次斛律後廢黜，穆夫人應該補升，偏被胡昭儀夾入，轉令穆氏多一對頭。胡太後複立侄女為後，料知穆氏義母陸令萱，必幫助穆氏，出來反對，不得已卑辭厚禮，結好令萱，約為姊妹。令萱至此，反覺左右為難，隻因胡昭儀寵幸方隆，更由胡太後從中囑托，乃與祖入白齊主，立胡昭儀為皇後。胡後深感姑恩，便提起母子大義，責備齊主，枕席私言，容易動聽；況齊主緯已忘前嫌，所有北宮稽查，早命撤銷，此次聞胡後語，便將太後迎還奉養。母子姑侄，團圓歡聚，自在意中。胡太後計非不佳，但可暫不可久奈何！