楊廣繼位後，以隋文帝遺詔為由，逼迫兄長楊勇自盡。其親弟蜀王楊秀被他誣陷使用巫蠱詛咒隋文帝及幼弟漢王楊諒，被剝奪官爵貶為庶民軟禁於內侍省，後與諸子一起被軟禁。
楊廣登基後的一連串行為，徹底滅了楊勇楊秀造反的苗頭，新帝手段淩厲，讓眾位大臣心生膽寒。
而李淵冷眼旁觀著這一切，看著楊家父子相殘，兄弟相殺，默默感歎他的姨夫隋文帝一生功績，最後卻毀在了兒子手中。
楊廣掃平了潛在的威脅後，終於開始大展身手。他剛一登基便提出了兩項大工程，一是營建東都洛陽，二是修建大運河。
此提議一出，朝野反對。大隋開國不過幾十年，正當是休養生息的時刻，可是楊廣不顧百姓疾苦，偏要勞民傷財。群臣紛紛反對，可是楊廣不是隋文帝，他剛愎自用，固執己見，怎麼可能聽取朝臣們的意見呢？很多勸諫的大臣都被楊廣訓斥、貶官，李淵明白，徒勞的上疏沒有任何作用，隻會給家人帶來災難。
楊廣讓宇文愷負責東都洛陽的修建事宜，任命他為營東都副監。開皇二年，隋文帝下詔營建新都大興城時，也是由宇文愷擔任營新都副監。開皇十三年，隋文帝要在岐州修建仁壽宮，再度任命宇文愷為檢校將作大匠，後又拜為仁壽宮監、將作少監。可見此人有著豐富的營建修城的經驗。
至於大運河要如何修建，派何人修建，楊廣還沒有拿定主意。畢竟這是一個大工程，對於人選，楊廣不得不慎重考慮。
這一日，楊廣召楊素進宮問策，他問道：“修建大運河之事，派何人總管為好？”
楊素心中早有想法，他向楊廣進言：“臣舉薦一人，可擔此重任。”
“是誰？”楊廣問道。
“李淵。”楊素說道。
“李淵，他行嗎？”楊廣皺皺眉頭，滿臉不信任的樣子。他對自己這個大臣兼表兄沒有過多關注，在他眼中，李淵不過是一個碌碌無為的唐國公，在朝堂之上毫不起眼，這樣的人，怎麼能夠擔任修建運河的大事？
楊素道：“李淵也算是出生貴族，名門子弟，其祖父李虎乃西魏‘八柱國’之一，其父李昞承襲了爵位，並任安州總管、柱國大將軍。其母和陛下的母親還是親姐妹。李淵七歲襲封唐公，先帝時，李淵曾為千牛備身，而且為人豁達寬容，才華橫溢，修建運河應是綽綽有餘。”
楊廣驚奇的看了一眼楊素，玩笑道：“卿從未如此讚賞過一個人，這個李淵有何德何能，讓卿如此看重？”
楊素知道，楊廣自小聰慧，早就明白自己瞞不過他。他義正言辭地說道：“李淵出仕多年，無功無過，匿影朝廷，沒有任何存在感。此人隱忍不發，靜水流深，如今陛下初登基，我們用修建運河之事測測他的態度，看他是否真心支持陛下。”
楊素說話做事果然嚴謹，楊廣就知道他推薦李淵必有道理。於是楊廣點頭道：“就按卿的意思去辦吧。”