而楊廣身邊卻盡是一些善於耍陰謀權術的人，又存心算計楊勇，在這些方麵作得天衣無縫。比如徐碧琅告訴他，要迎合獨孤後。楊廣便隻和王妃蕭氏居處，每當和後庭的女人生了孩子就殺掉。父母每派人來，他都親自和蕭妃到門口迎接，並用豐盛的酒飯招待，臨走再送上禮物。這些人得了好處，都在文帝和獨孤皇後麵前稱道楊廣仁孝。
有時文帝和獨孤皇後到楊廣那兒去，他便聽眾徐碧琅的話，把年輕貌美的姬妾藏起來，讓年老醜陋的人穿上粗劣衣服服侍文帝和獨孤皇後，文帝夫婦見楊廣節儉而又不好聲色，就更加寵愛他了。楊廣還用同樣的方式敬待朝中大臣，大臣們也都稱道他。這樣，在朝廷中外，他獲得了普遍的好感，聲望越來越高了。於是，楊廣開始施展陰謀，顛覆哥哥楊勇的皇太子的位置。
楊廣任楊州總管時，有一次入宮前，徐碧琅告訴他說，要他趁入宮辭別獨孤皇後的機會，故意跪在母親麵前痛苦流涕，好象不知離開母親心裏有多難過，又好象受了多大委屈似地。並且連措詞都幫他想好了，楊廣隻要按照徐碧琅所說的辦就是了，楊廣是這樣說的：“我平日以誠對待兄弟，不知為啥得罪了皇太子，早晚要遭他毒手，死在他手裏。”獨孤皇後馬上聯想起太子的種種壞處，更加火上加油，憤憤地說：“地伐（楊勇的小名）越發讓人不能忍耐了，我給他娶元氏女，他將人家毒死，我還沒治他的罪，竟又想陷害你。我活著他就敢這樣，我死了不就更無忌憚了。他沒有嫡子，以後你們要在阿雲（指雲詔訓）賤人所生的兒子麵前稱臣，這是何等痛苦的事啊！”母子二人抱頭痛哭了一頓。從此後，獨孤後決計廢除太子。
窺測了母後的心思後，楊廣便有恃無恐地加快了奪嫡的步伐。徐碧琅是楊廣的心腹，為他策劃說：“現在皇太子已失去父母的寵愛，大王您以仁孝著稱，才能蓋世，又屢有大功，受到父皇母後的鍾愛，天下非你莫屬。然而，廢立太子雖國家大事，但在父子骨肉之間，外人很難參預。能夠說上話的隻有楊素一人，楊素又聽他弟弟楊約的話。我很早就認識楊約，請讓我進京與約相見，共同謀劃這件事。”楊廣一聽，不由得喜上眉梢，給了徐碧琅很多金銀財寶進京去了。
楊素是隋朝著名的大將，早在北周時就屢立戰功，後來幫助隋文帝奪取了北周政權，與楊廣率軍平定陳朝，並掃清其殘餘勢力，後又指揮軍隊北征打敗突厥達頭可汗，深受隋文帝寵幸，為隋朝舉足輕重的人物。而楊素很信任弟弟楊約，對他言聽計從。徐碧琅到京後，即找到任大理少卿的楊約，整日和他賭博，故意將金鋒輸給他。楊約見錢贏得太多了，不免心生疑竇。徐碧琅趁機將楊廣的意思告訴他，並危言聳聽地說：“你們兄弟功名蓋世，執掌朝政多年，不僅結怨於朝臣，且得罪了皇太子。你們光依皇帝為靠山，皇帝一死，你家就要大禍臨頭了。如今皇太子失愛，主上有廢立之意，請立晉王為太子就在你哥哥一句話。如能建此大業，晉王必感激你，你家的地位就穩如泰山了。”楊素兄弟都是奸詐狡猾的勢力小人，被徐碧琅一提醒，果然心有靈犀一點通，馬上答應挑唆文帝和獨孤後廢掉楊勇，援立楊廣為太子。
在一次宴會上，楊素巧妙地試探獨孤後說：“晉王仁孝恭順，很象當今聖上。”一句話觸到了皇後的心痛處，對楊素說了一大通晉王的好處和楊勇的不是，二人一拍即合，獨孤後又送給楊素一大批金銀，讓他作為廢立太子的費用。
隋文帝心裏也有廢立太子之意，隻是礙於朝中大臣，難於啟口。有一次他曾暗示尚書仆射、齊國公高穎說：“有神告訴晉王妃，說晉王必有天下，該怎麼辦？”穎跪下奏道：“長幼有序，怎麼能隨便廢掉太子呢？”高穎是隋朝的佐命元勳，當朝宰相，在朝臣中威信極高，文帝見高頻反對，雖沒作聲，卻暗中尋找機會除掉這塊絆腳石。
獨孤後本來和高穎關係不錯，可有一次，獨孤後見尉遲迥的孫女得幸於文帝，趁文帝不在殺掉了她。文帝回宮得知，火冒三丈，卻又無可奈何，心緒煩亂地獨自騎著馬走進山穀中，大概是不想活了。高穎得知，追上文帝，叩馬進諫說：“陛下豈以一婦人而輕天下！”獨孤後得知高穎竟稱自己為一婦人，覺得有失體麵，於是反目成仇。這次見高穎反對廢太子，更巴不得把他除掉。在廢太子這個問題上，楊堅夫妻真算是步調一致了。我的QQ535577930，群號280914259，歡迎加入。