老虞的一句從長計議又把楊廣的火給撩起來了：他有多恨楊玄感沒人不知道，以至於死人都得刨出來重新禍禍一邊，更何況那個楊霖還活蹦亂跳的，而且還是楊玄感的親生兒子！這小子還能在大隋的地盤上蹦躂一天楊廣都覺得是他莫大的恥辱，隻要想起來就全身都不自在，這個虞世基居然還想替他求情？看來是沒少收那小子的錢啊，沒想到這個老王八蛋居然還是個舍命不舍財的主。
楊廣都快被虞世基給氣樂了，他本沒想把這貨怎麼地，可到了這個時候他還執迷不悟那可就是自尋死路了，楊廣怎麼可能還繼續容忍？他剛要喊人把這個王八蛋拖下去剁碎了喂狗，可是虞世基可沒光顧著磕頭，嘴裏也沒閑著：
“陛下呀，那楊霖如今身在滎陽，與江都遠隔千裏，中間又夾著瓦崗賊，就算陛下要發兵討逆也夠不著啊？更何況此子雖為梟逆餘孽，但自從出世以來並無反跡，反而對朝廷和陛下頗為恭順。陛下您想想看，他自河東發跡，據王威所言是受到了李淵的資助。那李淵心懷異誌圖謀不軌，早為陛下所警，如今更是大肆擴充兵馬，不從朝廷調遣，實則已是擁兵自立、形同反叛了。那楊霖若是真有謀逆之心，隻要跟於他有恩的李賊合兵一處，聲勢必然大振，必成朝廷和陛下的心腹之患。可是此子卻百般推諉拒絕了李賊的邀請，還裹挾了李賊麾下的數萬兵馬出走河南，可見其誌與李賊殊異，不可等同視之。
二者，去歲突厥寇邊，王仁恭無能導致河東邊塞大壞，此子若果有異心，正可擇此千載難逢之良機趁勢作亂。其時河東軍力不足、政出多門，一片混亂，朝廷又無力增援，若是此子再來作反，內外夾擊之下河東全境淪陷也並非不可能。然而此子卻登高一呼，聲言願為赴國難而摒棄私怨，盡招天下義士與突厥人死戰，並且戰而勝之，將其逐回塞北。其時此子擁兵數十萬，聲望更是著於天下，若是心懷不軌起兵反叛，僅憑宋老生、王仁恭區區數萬兵馬如何能擋？然而此子卻在戰後將所募之義兵盡數遣散，僅攜本部兵馬遠走河南，由此亦可見其誌與乃父大為不同。
三者，當時為了平息天下物議，也為了盡力籠絡此子為朝廷效力，微臣鬥膽代陛下之名授其官職。同時為了試探此人，微臣調堯君素為右備身府驍果軍折衝郎將，位在楊霖之上。微臣出此下策亦屬無奈，且無一兵一卒可供堯郎將調遣，楊霖若有異誌隻需一聲令下，堯郎將斷無幸理。然則此子對堯郎將持禮甚恭，雖未將軍權全盤奉上，但堯郎將不但在其軍中出入自如，而且凡事均向其請示告知，還曾讓其獨自領兵出戰。以上事宜堯郎將在給陛下的陳奏中均有提及，陛下一察便知真偽。
四者，左驍衛大將軍屈突通與楊霖有殺父之仇，然則此子去到河南之後並未與屈突將軍兵戈相向，反而相交甚密。二者屢屢合謀共同行事，不但迫退瓦崗賊，不戰而得滎陽、襄城二郡，而且聯手逐走逆賊宇文成乾收複了京師，還一舉消弭了李賊覬覦關中之禍，使我大隋在兩京之地聲勢大振。微臣每每對此百思不得其解，時常懷疑楊霖為梟逆遺子之說隻是坊間誤傳或是有人刻意為之，否則此二者若真有不共戴天之大恨，焉能相處得如此和睦，不見半分的隔閡？
故此，微臣以為對待楊霖尚需聽其言、觀其行，切不可貿然行事，否則很可能會迫使此人投入瓦崗賊陣營之中，無論對大隋還是對陛下都是得不償失。即便他真是梟逆之子……微臣以為以當前局勢，也還是暫且按兵不動為好。”
虞世基的話讓楊廣勃發的殺意又有些動搖。老虞所說的四條理由應該不會有假，這種事情一查便知，除非是這老貨活膩歪了。尤其是第四條理由讓他很是心動，從本性上講，楊廣還是尊儒崇聖的，而且身為皇帝更是要維護天地君親師這一套倫理綱常。雖然他爹老皇帝死得有點不明不白，他也惹了一身騷，洗都洗不幹淨，但是他自問要是他爹真是被別人弄死的，哪怕被弄死的理由是為了讓他登基即位，他也絕對饒不了這個愛管閑事的王八蛋，將其挫骨揚灰都是輕的。
所以他很不理解楊霖為什麼能跟自己的殺父仇人相處甚歡。如果非要他解釋的話，他也隻能認同虞世基的觀點，即楊霖根本就不是什麼楊玄感的親兒子。
楊廣這麼一猶豫，王世充可就著急了。他不惜得罪虞世基也要激起皇帝的火氣，這樣他才有可能拿到他夢寐以求的兵權，可是誰想到已經死了半截的老虞居然鹹魚翻身了！不但平抑了皇帝的怒火，而且花言巧語又把皇帝說動心了，這可怎麼得了？
所以他趕緊躬身上奏道：
“陛下，虞侍郎所言雖有幾分道理，但畢竟不過是猜測罷了。即便猜測是實，但楊某抗旨不尊，出言恐嚇微臣卻是證據確鑿，陛下不可輕縱，否則皇威何存，臣道何在？”