但是，這一安排遭到不少王公大臣的非議。尤其是對黑龍江巡撫段芝貴。他不過是候補道的身份，此次升任巡撫，可謂一步登天，因此更惹人注意。不久，段芝貴贖買楊翠喜，賄賂載振的風聲便傳出來了。禦史趙啟霖啟奏彈劾段芝貴，形成了當時轟動一時的"楊翠喜案"。
慈禧太後聞訊後，立即著派載灃查核。段芝貴是袁世凱的心腹，段芝貴吃了緊，袁世凱自然不能見死不救。於是立即請載振將楊翠喜秘密送回天津，再由張鎮芳出麵，托鹽商王益孫將楊翠喜領去做使女。等載灃派員到達天津時，楊翠喜已從載振手中轉移到鹽商王益孫的內室。而且王益孫一口咬定早就將楊買下，是在趙啟霖彈劾之前。
人證物證俱在，載灃也奈何不得，況且載振又為奕劻之子，載灃也不敢深究得罪。最後，此案就以趙啟霖"任意汙蔑"親貴重臣名節的理由，將趙啟霖罷職。同時，慈禧太後宣布由於段芝貴涉嫌醜聞，撤去段的黑龍江巡撫，改派程德全署理。載振也因涉嫌幹係重大，迫於輿論壓力，辭去農工商部尚書的職務。
5.
奪取權力
1908年11月14日，光緒皇帝在中南海涵元殿駕崩。11月15日，慈禧太後在儀鑾殿死去。
慈禧太後的死亡，給袁世凱的政治前程蒙上了濃重的陰影。尤其是宣統皇帝年僅3歲，軍政大權俱掌在攝政王載灃之手。而載灃正是光緒的弟弟。由於慈禧太後的關係，袁世凱一直是光緒皇帝的眼中釘。
據說，八國聯軍攻打北京城時，慈禧太後曾明令害死光緒帝的愛妃珍妃，旋即倉皇出逃。光緒帝也被挾持在逃亡的行列中。他食不甘味，寢不安眠，心情極度抑鬱，悶悶不樂。在中途休息時，他喜歡獨自坐在地上玩耍，特別喜歡在紙上畫大頭長身的各種各樣鬼形。他畫了很多，又隨手將它們撕碎。有時也畫鳥獸，在烏龜的脊背上寫上"袁世凱"3個字，貼在牆壁上，取出小弓箭，搭上箭頭射擊，然後再扯下來撕碎。
由於袁世凱與慈禧太後的關係和權勢，對於光緒帝來說，他一生最痛恨的人就是袁世凱。他也常常提筆寫下"殺袁世凱"這類的字條。光緒帝、慈禧太後死後，載灃任攝政王，代皇帝行政。他首先想到的就是殺袁世凱，替胞兄複仇。
康熙皇帝親政後，曾經欲翦除權臣鼇拜，所用的方法極為簡便。據說，一次召見鼇拜時，康熙帝賜坐。鼇拜萬萬沒想到，這一坐下，便惹來殺身之禍。因為椅子雖然4條腿，可長短不齊，鼇拜年齡又大，一屁股坐下去，自然身體就一晃。這一晃便是在皇帝麵前有失檢點，就是對皇帝大不敬。而"大不敬"屬十惡不赦罪之首。由此鼇拜便身首異處。攝政王載灃也想引康熙帝誅除鼇拜的故事處死袁世凱。
攝政王代皇帝行政，誅殺一人，何患無辭。但載灃考慮的是殺袁世凱會引起什麼樣的後果。袁世凱當時是北洋軍的首領，北洋軍部將皆接受袁世凱的遙控，而且封疆大吏、朝臣王公中，支持袁世凱的大有人在。
攝政王載灃曾為此詢問奕劻、張之洞等王公重臣的意見。奕劻和張之洞極力反對，認為太後剛去世，南方革命黨活動日熾，內憂外患之際，政權內部不該相互傾軋，而且袁世凱手握重兵，殺袁世凱若激起兵變，更是難以駕馭。
載灃很有心振奮政紀，整肅朝綱，挽狂瀾於既倒。但是，誌大才疏，政基不穩，手無兵權，遇事處處有舊臣、老臣置礙，心有餘而力不足。但是，除掉袁世凱，盡管奕劻和張之洞極力反對，他還是下定決心不用他了。
1909年1月2日，攝政王載灃以宣統帝名義發布上諭:
"軍機大臣外務部尚書袁世凱，夙承先朝屢加擢用，朕禦極後複予懋賞，正以其才可用，俾效馳驅。不意袁世凱現患足疾，步履維艱，難勝職任，袁世凱著即開缺回籍養屙，以示體恤之至意。"
袁世凱在慈禧太後死後，本就知朝不保夕，於是在奉旨次日，晉見攝政王謝恩辭行。