初平二年秋，公孫瓚致書曾祥輝，請曾祥輝發兵助其攻袁紹。曾祥輝天天在府中被公孫萼鬧的昏天黑地，一接到這封書信，覺得這是一個可以脫離折磨的契機，連忙答應。並當天召集謀士將領一起商議。郭嘉分析道：“去年主公就致意伯圭，讓他注意袁紹奪冀州之意。他絲毫不以為意，以致讓袁紹輕易占據冀州大郡。公孫伯圭自誇武力，有勇無謀，終將覆滅。現在趕赴過去，必不以我為意。不若等他不濟之時，我軍再發，可以使他感恩戴德。或許還可以渾水摸魚，襲占幽州等地。”曾祥輝不悅道：“隻是我已經答應了公孫太守了。”郭嘉笑道：“這個簡單。大人就說選撿人馬費了些時日，然後路上再慢慢行進，一直到他快要不支時再去。”曾祥輝想了想，道：“軍師所言有理。我帶親兵先過去穩住公孫瓚，軍師率軍隨後慢來。就這樣吧。”郭嘉鬱悶道：“主公糊塗得越發厲害了，統軍之責當由將軍任之，屬下如何能夠統軍？還是委雲長公擔此大任吧！”關羽婉拒道：“末將才薄學淺，難堪大任。公孫升濟一直坐鎮襄平，還是讓公孫將軍統兵吧！”公孫度撫胸慚愧道：“老夫早該隱退，哪還有顏麵參與大事。雲長公文武雙全，可堪大任。”說完，公孫度淚流滿麵，一直唏噓。郭嘉等人見狀，也不便再說什麼，議論由公孫恭當護軍，護送曾祥輝去北平。議論一定，眾人便都散了。
次日一早，曾祥輝便到軍營要走，公孫萼跟到軍營，非要隨行。鬧了半天，公孫度親自來勸半晌，公孫萼才算作罷回府。曾祥輝急忙率軍走了。
一路上，曾祥輝見沿途風景優美，不禁動心想留下點才思。才想寫點什麼，才發現那時候都是用毛筆，字要寫在竹簡上。曾祥輝本來就不會寫毛筆字，再加上要寫在竹簡上，那真是要了命的事情。不能寫或者畫畫也不錯，卻發現那時候畫都是畫在帛或者草紙上，也是用毛筆來畫。沒有一樣是曾祥輝會的，曾祥輝的興趣一下子被打擊的點滴不剩，唯剩一腔抑鬱。幸好公孫恭此人才學倒是很好的，跟曾祥輝說了不少辭賦，又說了不少上古神話，讓曾祥輝終於不覺得那麼難受了。
一路上曾祥輝與公孫恭談天說地，慢慢悠悠行進，一個月的路程，整整走了三個多月才到北平。曾祥輝到北平時，公孫瓚正在外與袁紹交戰，不在北平。曾祥輝隻好駐營在北平城東。公孫瓚接到曾祥輝到北平的消息後，便派趙雲回北平招待曾祥輝，自己仍留在徐州征戰。曾祥輝本來也不善於衝鋒征戰，索性就安心待在北平，日日跟趙雲他們打獵喝酒。這一待，竟然待了近一年，公孫瓚才回來。
公孫瓚這次回來，意得誌滿，因為他這年多來，冀晉青幽四地幾乎都為其所占，袁紹害怕地把渤海封給公孫瓚弟弟公孫範，結果公孫範以渤海兵助公孫瓚，使得公孫瓚勢力大張，幾乎襲占四州之地。公孫瓚現在驕傲自大，回北平後便大宴將士，一連幾天都跟身邊人痛飲，講述自己的勇武及勢力。
公孫瓚回北平不到兩個月，接前線戰報，說袁紹已穩定冀州城，親自率一萬餘人反攻，已近界橋。公孫瓚當下立刻發兵三萬進據界橋，準備一舉打垮袁紹。曾祥輝知道界橋之戰是以公孫瓚打敗告終，不想跟他去嚐那種失敗的滋味，以身體不適為借口不去。公孫瓚知道曾祥輝不是衝鋒陷陣之人，帶著反而是個累贅，樂得他不去，就自己帶人馬去界橋了。
公孫瓚到界橋後，仗著人多勢眾，且一直大勝，士氣高漲，立刻命冀州刺史嚴綱率本部人馬衝突袁紹軍陣，自統主力隨後跟進。嚴綱在界橋南二十裏與袁紹戰，被巈義以八百弩兵擊敗，斬殺白馬義從千餘人，嚴綱也被斬殺於陣上。袁紹趁勢揮兵大進，公孫瓚大潰，隻帶十餘騎逃回北平。公孫瓚羞於見曾祥輝，當下又召集三萬人馬返回故安，袁紹久攻不下，引兵南退。公孫瓚率軍追擊，在巨馬水之地追上袁紹，殺得袁紹大敗。袁紹率眾奔逃至龍湊，再被公孫瓚追上。雙方集結主力，在此地展開決戰，公孫瓚大敗，袁紹也死傷慘重，雙方形成均勢。朝廷為兩人撮合，雙方和解停戰，各自返回駐地。幽州牧劉虞擔心公孫瓚複叛，率軍進逼，公孫瓚新敗，兵無鬥誌，先回軍北平自保。
公孫瓚回到北平，責怪曾祥輝擁兵不進，坐觀成敗。如今劉虞大軍逼近，公孫瓚無力抵抗，希望襄平軍馬能盡速趕來救援，他當感激不盡。曾祥輝忙下書催郭嘉等人。是年冬，關羽率軍八千趕到北平。
次年春，公孫瓚將自己兵馬散處各地，劉虞以為北平兵少，聚十萬之眾圍攻北平。公孫瓚聽從郭嘉計策，堅守北平，佯作不支之狀。劉虞以為北平城破不過是時間問題，軍心漸漸懈怠。關羽人馬趁勢殺出，劉虞軍不防，被關羽直殺進劉虞大營。劉虞大懼，率子弟親兵逃遁。主將一逃，全軍皆潰，劉虞軍徹底崩潰。關羽追殺三十裏，劉虞僅餘千餘人逃至居庸城。公孫瓚追擊到居庸，郭嘉以劉虞聲望為國人所欽，不宜進逼，使關羽引兵回北平。公孫瓚獨自攻居庸，三天攻破城池，活捉劉虞。公孫瓚一直嫉妒劉虞，此次拿住劉虞當即下令立斬。合城百姓知道要處死劉虞，一起來求公孫瓚赦免劉太尉。公孫瓚無奈，於是讓上天決定是否處決劉虞：十天內降雨，則天欲留太尉一命，若無降雨，則立斬。十日內，顆雨也無，公孫瓚於是將劉虞斬首。幽州全境自是全歸於公孫瓚。公孫瓚於是築易京城，聚珍寶糧食於易京，深入簡出，在易京自娛自樂。公孫瓚感曾祥輝這兩三年一直在北平相助，尤其在劉虞大軍壓境之時遣兵解圍，就將北平封給曾祥輝，讓曾祥輝任北平太守。