在慈禧太後擅權時期，他又前後三次遭到罷黜。
第一次：同治四年（1865年）二月，翰林院編修蔡壽祺上疏彈劾議政王攬權徇私。慈禧太後召見奕，說“有人彈劾你”。奕不謝罪，追問是什麼人。後答：蔡壽祺。奕頂撞說“蔡壽祺不是好人”，欲加逮問。慈禧太後大怒，以同治皇帝的名義親擬詔旨，斥責奕“妄自尊大，諸多狂傲，倚仗爵高權重，目無君上”，宣布撤去他議政王、軍機大臣等一切職任。消息傳出，朝野震驚。由於眾王公大臣一再奏請開恩錄用奕，慈禧太後恢複了他的領班軍機大臣一職，但取消了其議政王稱號。奕入宮謝罪，在太後麵前伏地痛哭，無以自容。這次軒然大波，慈禧太後不過略施手段，就使奕充分領教了她的厲害。
此後數年，奕與太後相安無事。但他不是那種八麵玲瓏的性格，主持樞要，判斷是非，又不可能處處依從太後心願。接著就發生了懲治太後寵監安德海的一段插曲。
慈禧太後平日深居內宮，諸事依賴身邊太監，太監對她曲盡諂媚之能事，兩者關係非同一般。太監安德海依仗慈禧太後的寵信，在宮內外作威作福，甚至欺負到同治帝頭上。小皇帝曾在宮中用泥巴塑了一個小人，早晚用劍砍泥人腦袋，一邊砍一邊喊：“殺小安子。”朝野之士對安德海多有反感，奕對他更是恨之入骨。有一次，安德海在朝房裏誇耀自己官帽上的翎子精美，一些大臣不敢得罪他，隻好連聲附和。奕實在忍不住自己的厭惡，冷笑著哼了一聲，說：“你的翎子再好，怕也護不住後脖子。”說明對他已動了殺機。
同治八年（1869年）夏，慈禧太後授意安德海前往蘇州采辦龍袍。安德海出京沿運河南下，船上遍插“奉旨欽差采辦龍袍”字樣大旗。沿途雇覓婦女，唱曲作樂。船抵山東德州，適逢他的生日，隨從男女給他設宴祝壽，大事招搖，兩岸觀者如堵。山東巡撫丁寶楨得到密稟，以安姓太監“自稱奉旨差遣，招搖煽惑，真偽不辨”，迅速奏聞朝廷。適逢慈禧太後正在生病（一說正在觀戲），奕等人授意軍機大臣擬旨，命山東督撫迅速派委幹員，將安德海嚴密查拿，無須審訊，就地正法。安德海被押送省城濟南，經丁寶楨親自審訊後下令處死。安德海伏法，人心大快。丁寶楨因辦理此案，竟一時成為風雲人物。奕處理此案，相當巧妙。慈禧太後迫於輿論，不敢為安德海公開開脫。她對奕等人雖有不滿，卻也無可奈何。
第二次：同治十二年（1873年），18歲的載淳宣布親政。他提出重修被英法聯軍焚毀的圓明園，給歸政後的慈禧太後居住。同治十三年（1874年）七月，奕聯合一些朝廷重臣擬定奏疏，以“西陲未靖，外侮方殷”為理由，諫阻修園。同治帝召見群臣，隻閱奏折數行，便說：“我停工何如！爾等還有何饒舌？”奕回奏：“臣等所奏尚多，不止停工一事，容臣宣誦。”隨即取出折底，逐條講讀。同治帝惱羞成怒說：“我這個位子讓給你如何？”奕不敢再奏。
數日後，同治帝召見奕，追問所奏微服出行事，是聽誰說的。奕答：“臣子載澄。”同治帝大怒，怨恨載澄。接著，同治帝以“召對時言語失儀”為由，宣布革去奕一切職務，降為不入八分輔國公。因遭到眾大臣反對，改為革去親王，降為郡王；並諭載澄革去郡王銜貝勒，以示懲儆。不過到了次日，載淳的胡鬧就受到太後的幹預。慈禧太後雖支持重修圓明園，但對載淳的輕躁妄動，還是不讚成的。大事小事，輕重緩急，她心裏分得很清楚。據記載，慈禧太後把載淳召入弘德殿，垂淚對跪在下麵的載淳教訓說：“十年以來，無恭邸（恭親王）何以有今日？皇上少未更事（年少不懂事），昨諭著即撤銷。”同治帝再頒諭旨，賞還奕親王世襲罔替，載澄郡王銜貝勒。這場風波隻鬧了數日，就告平息。