次年，袁世凱被任命為軍機大臣兼外務部尚書，明升暗降，失去軍權，鐵良則順理成章地躍身為清軍第一統帥，好不威風。不過，這一切都是由慈禧於幕後一手操作的結果。用鐵良幕僚惲寶惠的話概括：“鐵良敢於這樣做，仍由於宮廷之主持。慈禧太後之為人，陰鷙而多智謀，對滿漢大臣能恩威並用，權不旁落，絕非一般婦女所能及。”也就是說，鐵良僅是慈禧手中的一顆卒子，一旦過河，便不能回頭。
此時的鐵良，卻自我感覺良好，天下軍隊大半聽我調令，自己實乃朝廷必不可少的火炮良駒。然而，在他人眼中，鐵良所體現出來的卓越才氣，卻更近似於一股使人不安、讓人窒息的“霸氣”。誰也不願意被這種氣勢所籠罩。所謂“月盈則缺，花盛而謝”，老袁暫時失勢後，接下來要出局的便是鐵良。他的好運似乎也快用完了。
黴氣衝天
1908年11月，光緒、慈禧相繼歸天，宣統登基。兩個月後，攝政王載灃以“足疾”為由，將袁世凱攆回河南老家。最大政敵的離開，讓鐵良倍感清爽。然而，實際的情形卻是隱患眾多、危機四伏。
最高層對鐵良的態度是擔憂。載灃、載濤等皇室深感鐵良風頭太盛，霸氣外露，一旦擅權，後患無窮，於是暗有貶抑之意。
下屬的態度是不滿。這以良弼為代表。良弼本是鐵一手提拔的人才，在打擊袁世凱的行動中出力尤多，然而他卻不甘屈居鐵良之後，希望早日上位。在良弼看來，論出身，自己是多爾袞之後，正兒八經的宗室黃帶子，而鐵良不過是一個普通的旗人子弟；論學曆，自己是日本軍校畢業，當時也算非常稀罕的海歸一族了，而鐵連個舉人文憑都沒有，太土鱉了；論年齡，自己是70後，鐵良是60後，因此自認為更了解世界新趨勢。正是這種羨慕嫉妒恨的情緒作祟，良弼經常離間載濤與鐵良之間的關係，以期早日取而代之。
袁世凱的態度自然是憤恨，雖身在河南，卻一直伺機報複。聽說載灃與鐵良不和，他更是派眼線在京城散播謠言，聲稱自己要與鐵良聯手，東山再起。
多方不利因素彙聚到一起，鐵良悲催的遭遇便紛至遝來。1909年夏天，朝廷突然以“幹部年輕化”為借口，將鐵良的禁衛軍訓練大臣免去，由良弼繼任。1910年2月，又將鐵的陸軍部尚書一職罷免。最後，鐵良在軍機處的職務也被取消。先是不再負責皇宮治安工作，接著失去軍事指揮權，甚至連參與政務決策權也被剝奪。此時，鐵良已沒有實職，淪為偌大朝堂上的一個閑人。
從權力巔峰跌至穀底，僅僅不到半年，鐵良自然滿心委屈。一向以清廉標榜的他，也不禁決定放下架子，向袁世凱學習，去各王府跑關係，送厚禮。鐵良一度將賭注押在慶親王奕劻身上。然而，平時不怎麼玩潛規則的鐵良，哪裏知道腐敗也是一種事業，如果不長期經營，豈能與他人打成一片，形成滴水不漏、互相庇佑的小集團係統？鐵下了血本，在慶王爺生日晚宴上出手闊綽地送以萬金。不料收了袁世凱無數賄賂的奕劻，紮紮實實地給鐵良上了一課。他頗為嘲諷地問道：“此不是來開玩笑乎？”送禮不成，還顏麵盡失，鐵良隻得選擇辭職。
向朝廷遞上正式辭呈後，鐵良還給昔日的老部下陸軍部副大臣壽勳一封短信，結尾寫道：“弟患口疾，不良於言。”可知鐵良對最高層頗有意見，但實屬難言之隱了。對於良弼等自己一手提拔的下屬，鐵則後悔萬分。在一次告別晚宴上，有人抱怨良弼、哈日章等人過河拆橋、背後捅刀，鐵良很是感慨地歎道：“他們都是華而不實，我後來也不敢聽他們的話了。他們還盡說我的閑話，真是知人不易呀！”
辛亥前夕，朝廷開恩，任命鐵良出任江寧將軍，一個充其量隻能打打醬油的閑差。10月10日，武昌一聲槍響，革命終成洪流。不及兩月，全國十多個省份相繼獨立。鐵良聞訊“驚駭跳號，淚盡血出”，悲歎：“夫何濟哉！夫何濟哉！”他覺得如果在陸軍部尚書位上的仍是自己，而不是毫無軍事經驗的現任蔭昌，或許形勢不會如此急轉直下。然而很快鐵良便發現自己也不是革命軍的對手。年底，徐紹禎率領革命軍攻打南京，鐵良雖負隅頑抗，但終被擊潰。他隻得躲入天津租界，開啟了其長達27年的遺老生涯。
體製如同一張大網，每個官員都好比網中之魚。所以，若想在體製內遊刃有餘、不受窒礙，就得善於塑造個人形象，既不能鋒芒畢露招人忌，亦不能埋頭苦幹無人問。說白了，其訣竅就在於保持中庸，搞好人脈。否則要麼出力甚多卻得不到相應回報，要麼樹敵太多終有被人搞垮之日。鐵良就屬於後者，魚死而網卻完好。這也映照出一個樸實的道理：“霸氣不是你想露，想露就能露！”