隋文帝念賀若弼有功，就釋放了他，將其削職為民。幾年後，賀若弼又恢複了爵位。但是他已失去了隋文帝的信任，也不再擔任要職，不過每次賜宴大臣時，隋文帝對賀若弼還是比較親厚。
4.非議朝政，目無尊上
雖多次受責備入獄，但是賀若弼仍然不知收斂，反而到處炫耀他和太子楊勇的關係密切，後來還為楊勇被廢而憤懣不平。隋文帝對他一再忍讓，他卻不思悔改，甚至遷怒於朝政，大發不滿。開皇十九年，隋文帝在仁壽宮宴請眾臣，席間令賀若弼做五言詩。賀若弼做的詩“詞意憤怨”。隋文帝看後並未對他加以追究。
隋煬帝執政時期，賀若弼還是一如從前，多嘴多舌，批評隋煬帝太奢侈。大業三年，隋煬帝北巡到榆林，建立了奢華的行宮，並且召突厥啟民可汗前來會麵，期間大量行賞，還發配百萬男子壯丁修築長城。眾臣為這件事情多次進諫隋煬帝，高熲和賀若弼等人也經常私下議論。後此事被人告發，隋煬帝大怒，視其為誹謗朝政。涉及議論隋煬帝的高熲、宇文弼都被誅殺，蘇威也被免官。賀若弼亦難以幸免，殞命於此，其妻與兒女皆被罰為官奴。一代名將，最終絆於口舌之災，禍及家門。
曆史上對賀若弼的結局論斷也有分歧：一種說法認為賀若弼在今陝西榆林因為連坐被斬，另一種則說賀若弼得以善終。究其性格和所處的時代而言，前者的可能性似乎更大一些。
孰是孰非
1.父子同命，口舌之過
賀氏父子都死於口舌，此禍在中國曆代王朝已是屢見不鮮，看似是封建社會開國功臣的同一命運。人們也常將禍由歸咎於開國帝王身上。兔死狗烹、鳥盡弓藏的古老故事寫盡了封建君主“隻可共苦，不可同甘”的冷酷。劉邦與韓信的反目，朱元璋火燒淩煙閣的變臉，亦力證了一代帝王誅戮功臣的殘忍。作為統治者，為了鞏固基業而掃除曾付出無數艱辛的功臣，固然對此悲劇難辭其咎。但作為受害者一方的功臣良將，難道就不存在任何問題嗎？有時候，換另一角度審視曆史，也許會發現不一樣的答案。
2.咎由自取，個人悲劇
從自身角度看，賀氏父子都有自矜其功、心胸狹窄的缺點，他們遭遇同一悲劇，辯證地去看，也可說是咎由自取。
其父賀若敦所參加的北周與陳的戰爭，在當時北強南弱、形勢如此明顯的情況下，北周居然戰敗，可謂一大恥辱。北周在那次戰役中失去了六個郡，賀若敦當時孤軍深入，自己統率的部隊也傷亡慘重。雖並無大敗，但在這種情況下賀若敦還去請賞，實為不智。
再加上自己的心直口快，對宇文護的所作所為，頗多疵議，當然會被小人所不容。由此看出招致陷害，與自己的過於“直言”確有幹係。
再看賀若弼。平陳一戰中，按照原定的作戰計劃，賀若弼與韓擒虎應從東西兩路同時進軍，夾擊陳軍。賀若弼卻因貪功而擅作主張，獨自進軍，遭遇敵軍便以主力投入決戰，其輕率決定致使部下慘遭傷亡，對此他負有重大責任。若賀若弼真的輸掉了這場戰鬥，則其罪難恕。在自身有錯的情況下，賀若弼本該低調行事，而他竟然在文帝麵前與韓擒虎爭功。這一鬧不僅降低了自己的身份，更招來了隋文帝的反感。
他不但沒有從一次次口舌之禍中吸取教訓，反而愈加過分，竟發展到非議朝政！隋煬帝可不似楊堅那般寬容，楊廣本來就是一個暴君，豈容他人恣意評論自己的決策？所以當賀若弼在煬帝西征問題上又發表議論時，楊廣就毫不猶豫地殺掉了他，永遠封住了他的嘴。再加上賀若弼平時慣於出口傷人，被他惹惱的朝臣自然不少，如此四麵樹敵，即使擁有顯赫戰功，也難防暗箭。就其性格而言，賀若弼身死殞命這一悲劇的上演無疑是必然的。
由此可見，曆代許多功臣因疏於“慎言”而不得善終，這其中固然受到封建帝王的統治手段的影響，但為人臣子在個人修養上的嚴重欠缺，恐怕也是左右其仕途的重要原因。