及晉公護誅，高祖召憲入，憲免冠拜謝。帝謂之曰：“天下者，太祖之天下，吾嗣守鴻基，常恐失墜。塚宰無君淩上，將圖不軌，吾所以誅之，以安社稷。汝親則同氣，休戚共之，事不相涉，何煩致謝。”乃詔憲往護第，收兵符及諸簿書等。尋以憲為大塚宰。時高祖既誅宰臣，親覽朝政，方欲導之以政，齊之以刑，爰及親親，亦為刻薄。憲既為護所委任，自天和之後，威勢漸隆。護欲有所陳，多令憲聞奏。其間或有可不，憲慮主相嫌隙，每曲而暢之。高祖亦悉其心，故得無患。然猶以威名過重，終不能平，雖遙授塚宰，寔奪其權也。
開府裴文舉，憲之侍讀，高祖常禦內殿，引見之。謂曰：“晉公不臣之跡，朝野所知，朕所以泣而誅者，安國家，利百姓耳。昔魏末不綱，太祖匡輔元氏；有周受命，晉公複執威權。積習生常，便謂法應須爾。豈有三十歲天子而可為人所製乎。且近代以來，又有一弊，暫經隸屬，便即禮若君臣。此乃亂代之權宜，非經國之治術。詩雲：“夙夜匪解，以事一人。”一人者，止據天子耳。雖陪侍齊公，不得即同臣主。且太祖十兒，寧可悉為天子。卿宜規以正道，勸以義方，輯睦我君臣，協和我骨肉。無令兄弟，自致嫌疑。”文舉拜謝而出，歸以白憲。憲指心撫幾曰：“吾之夙心，公寧不悉，但當盡忠竭節耳，知複何言。”
建德（三）年，進爵為王。憲友劉休征獻王箴一首，憲美之。休征後又以此箴上高祖。高祖方剪削諸弟，甚悅其文。憲常以兵書繁廣，難求指要，乃自刊定為要略五篇，至是表陳之。高祖覽而稱善。
其秋，高祖幸雲陽宮，遂寢疾。衛王直於京師舉兵反。高祖召憲謂曰：“衛王構逆，汝知之乎？”憲曰：“臣初不知，今始奉詔。直若逆天犯順，此則自取滅亡。”高祖：“汝即為前軍，吾亦續發。”直尋敗走。高祖至京師，憲與趙王招俱入拜謝。高祖曰：“管蔡為戮，周公作輔，人心不同，有如其麵。但愧兄弟親尋幹戈，於我為不足耳。”初，直內深忌憲，憲隱而容之。且以帝之母弟，每加友敬。晉公護之誅也，直固請及憲。高祖曰：“齊公心跡，吾自悉之，不得更有所疑也。”及文宣皇後崩，直又密啟雲：“憲飲酒食肉，與平日不異。”高祖曰：“吾與齊王異生，俱非正嫡，特為吾意，今袒括是同。汝當愧之，何論得失。汝親太後之子，偏荷慈愛。今但須自勖，無假說人。”直乃止。
四年，高祖將欲東討，獨與內史王誼謀之，餘人莫得知也。後以諸弟才略，無出於憲右，遂告之。憲即讚成其事。及大軍將出，憲表上私財以助軍費曰：“臣聞撫機適運，理藉時來，兼弱攻昧，事資權道。伏惟陛下繼明作聖，闡業弘風，思順天心，用恢武略。方使長蛇外翦，宇宙大同，軍民內向，車書混一。竊以龍旗雷動，天網雲布，芻粟糧餼，或須周給。昔邊隅未靜，卜式願上家財；江海不澄，衛茲請獻私粟。臣雖不敏，敢忘景行。謹上金寶等一十六件，少助軍資。”詔不納，而以憲表示公卿曰：“人臣當如此，朕貴其心耳，寧須物乎。”乃詔憲率眾二萬為前軍，趣黎陽。高祖親圍河陰，未克。憲攻拔武濟，進圍洛口，收其東西二城。以高祖疾，班師。是歲，初置上柱國官，以憲為之。
五年，大舉東討，憲率精騎二萬，複為前鋒，守雀鼠穀。高祖親圍晉州。憲進兵克洪同、永安二城，更圖進取。齊人焚橋守險，軍不得進，遂屯於永安。齊主聞晉州見圍，乃將兵十萬，自來援之。時柱國、陳王純頓軍千裏徑，大將軍、永昌公椿屯雞棲原，大將軍宇文盛守汾水關，並受憲節度。憲密謂椿曰：“兵者詭道，去留不定，見機而作，不得遵常。汝今為營，不須張幕，可伐柏為庵，示有形勢。令兵去之後，賊猶致疑也。”時齊主分軍萬人向千裏徑，又令其眾出汾水關，自率大兵與椿對陣。宇文盛馳騎告急，憲自以千騎救之。齊人望穀中塵起，相率遽退。盛與柱國侯莫陳芮涉汾逐之，多有斬獲。俄而椿告齊眾稍逼，憲又回軍赴之。會椿被敕追還，率兵夜返。齊人果謂柏庵為帳幕也，不疑軍退，翌日始悟。
時高祖已去晉州，留憲為後拒。齊主自率眾來追，至於高梁橋。憲以精騎二千，阻水為陣。齊領軍段暢直進至橋。憲隔水招暢與語，語畢，憲問暢曰：“若何姓名？”暢曰：“領軍段暢也。公複為誰？”憲曰：“我虞（侯）〔候〕大都督耳。”暢曰：“觀公言語，不是凡人，今日相見，何用隱其名位？”陳王純、梁公侯莫陳芮、內史王誼等並在憲側。暢固問不已。憲乃曰：“我天子太弟齊王也。”指陳王以下，並以名位告之。暢鞭馬而去，憲即命旋軍，而齊人遽追之，戈甲甚銳。憲與開府宇文忻各統精卒百騎為殿以拒之，斬其驍將賀蘭豹子、山褥瑰等百餘人，齊眾乃退。憲渡汾而及高祖於玉壁。
高祖又令憲率兵六萬，還援晉州。憲遂進軍，營於涑水。齊主攻圍晉州，晝夜不息。間諜還者，或雲已陷。憲乃遣柱國越王盛、大將軍尉遲迥、開府宇文神舉等輕騎一萬夜至晉州。）憲進軍據蒙坑，為其後援，知城未陷，乃歸涑川。尋而高祖東轅，次於高顯，憲率所部，先向晉州。明日，諸軍總集，稍逼城下。齊人亦大出兵，陣於營南。高祖召憲馳往觀之。憲返命曰：“是易與耳，請破之而後食。”帝悅曰：“如汝所言，吾無憂矣。”憲退，內史柳虯私謂憲曰：“賊亦不少，王安得輕之？”憲曰：“憲受委前鋒，情兼家國，掃此逋寇，事等摧枯。商周之事，公所知也，賊兵雖眾，其如我何。”既而諸軍俱進，應時大潰。其夜，齊主遁走，憲輕騎追之。既及永安，高祖續至。齊人收其餘眾，複據高壁及洛女砦。高祖命憲攻洛女，破之。明日，與大軍會於介休。
時齊主已走鄴，留其從兄安德王延宗據並州。延宗因僭偽號，出兵拒戰。高祖進圍其城，憲攻其西麵，克之。延宗遁走，追而獲之。以功進封第二子安城公質為河間王，拜第三子賨為大將軍。仍詔憲先驅趣鄴。明年，進克鄴城。