賀若弼做了大將軍,常為自己官位低而怨聲不斷。一些話傳到了隋文帝耳朵裏,賀若弼被逮捕下獄。隋文帝責備他說:“你這個人有三太猛:嫉妒心太猛;看不起別人的心太猛;目無長官的心太猛。”因為他有功,不久也就放了。他不吸取教訓,又對其他人誇耀他和皇太子之間的關係。隋文帝把他召來說:“我用高、楊素為宰相,你多次在眾人麵前放肆地說他們什麼也不會幹,言外之意我也是廢物不成?”賀回答說:“高是我的老友,楊素是我舅舅的兒子。我了解他們,我說過他們不適合擔當宰相的話。”隋文帝說:“大臣對你十分厭煩,要求嚴格執行法度。”賀若弼辯解說:“我曾率八千兵渡長江活捉了陳叔寶,希望能看在過去的功勞的分上,給我留條活命。”賀若弼言語不慎,得罪了不少人。朝中一些大臣怕受株連,都揭發他過去說的那些對朝廷不滿的話,並聲稱他罪當處死。隋文帝念他勞苦功高,隻把他的官職撤了。