不過楊廣的大業還沒開始，自河東便傳來一個驚動地的消息。漢王楊諒以“清君側，誅楊素”為由，在並州起兵造反了。
先時楊堅在仁壽宮病重，楊諒得到消息後，幾次請求回京侍疾。當時楊堅也沒想到自己病情後來會加重，他由於擔心先是加封楊昭為皇太孫，再加上若讓楊諒回京，會過度的刺激楊廣，因此便拒絕了楊諒的請求。
但後來楊諒病重，再加上楊儼、柳述之亂，為了避免可能出現的動亂，楊廣便招楊諒還朝。
這時的楊諒接到令後，還很是欣喜，一路疾馳南下，欲返回長安。不過楊諒也在長安有後手，等到楊諒到達蒲阪，竟傳來楊堅病逝的消息。楊諒得信大驚，自覺若是就此返回長安怕是自身性命難保。因此在手下眾饒慫恿之下，楊諒急忙率部返回並州。
楊廣知道楊諒逃回並州的消息之後，隻得哀歎時運不濟，失去了解決河東問題的大好機會。因為中央政府沒有準備妥當，楊廣也不想過度刺激楊諒，因此佯裝不知，乃命屈突通持隋文帝的璽書去晉陽（今太原市西南）征漢王楊諒入朝，參加楊堅的葬禮。
父親死了，這次不管你有什麼理由，總該回京了吧。
此時楊諒已經知道了隋文帝臨終之前罷並州行台之事，又思慮自己與楊廣父子的關係不睦，他若是就此回京，恐性命不保。
這時謀士裴文安獻計可詐屈突通一番，看朝廷有無加害漢王之心。因此見到屈突通之後，楊諒乃道：“當日孤離京之時，曾與先帝有言，先帝曾‘如果有璽書召你，驗看敕字加點，還與玉麟符相合，方可受命上路。’今日你持先帝詔書來並州，這詔書之中，為什麼沒有敕字加點？”
屈突通根本沒聽話此事，大吃一驚，也不知此事是真是假，隻能閃爍其詞而不回答。楊諒乃怒斥屈突通朝廷作偽，子死因必有蹊蹺，因此拒絕接受這份旨意。
眾人紛紛請求扣押屈突通，以對抗朝廷。楊諒知道屈突通雖然官職不高，但素來在朝中有賢名，無論處死還是扣押都沒有意義，反而惹人詬病。因此楊諒也沒有扣押他，而是將其放歸回朝。
楊諒拒不接受楊廣的詔書，算是和朝廷撕破了臉麵。
事實上楊諒的謀反之舉，並不是他心血來潮、腦袋一熱的舉動，而是早有準備。他自知與二兄楊廣不和，因此在最初的時候，楊諒寄希望能夠如楊廣扳倒慜太子楊勇一般，合法繼位。
但是自楊昭北伐得勝，又被封皇太孫之後，楊諒知道自己這條路是走不通了。楊廣、楊昭父子二人實力強大，又如疵人心，哪怕楊廣死了，也是楊昭繼為儲君，根本輪不到他。
至此楊諒便準備實行武力奪權。仰仗手中強大的實力，哪怕不能成為子，也要割據一方，不再受楊廣父子轄製。
楊諒作為楊堅和獨孤皇後最的一個孩子，從備受寵愛，其身為並州總管，所轄之地為崤山以東到滄海，南至黃河，五十二州，相當於下的四分之一。楊堅又特許楊諒在封地可以便宜行事，可以不拘泥於法律條文。