哈麻在宮中胡作非為，許多人看在眼裏，恨在心上，但知道他有皇帝作後台，都敢怒而不敢言。可也有人不怕打擊，仍想彈劾哈麻，為國除害。但就在這時，元廷內部爭權奪利的鬥爭再次激烈起來。人們開始忙於內部權力爭奪，而無暇顧及哈麻之事了。
原來，脫脫“更化”，取得了一定成就，聲望日益高漲，也引起一些人眼紅嫉妒。這些人背後風言風語，吹毛求疵，妄圖中傷陷害脫脫，但苦於沒有時機，一時不好下手。至正四年（1344年），脫脫因患疾病，上表請求辭去相位，最初，順帝堅決不同意，後經脫脫多次要求，順帝才應允。脫脫辭相以後，由阿魯圖繼任為中書右丞相，別兒怯不花任中書左丞相，別兒怯不花因與脫脫之父馬劄兒台有過宿怨，一直想整倒脫脫。脫脫辭相，他以為時機到來，便想乘機拉攏阿魯圖一起謀害脫脫，但阿魯圖為人正直，堅決不同意，別兒怯不花就攻擊去掉阿魯圖，爬上了中書右丞相的高位，別兒怯不花控製朝政以後，為了陷害脫脫，經常在順帝麵前無中生有地說脫脫的壞話。
這時，別兒怯不花雖然掌握了朝中主要大權，但他謀害脫脫，引起朝野內外的普遍反對，脫脫的聲望不但沒有降低，反而更高了。特別善於見風使舵的哈麻，看到軍心、民心、貴族之心不偏向於別兒怯不花，而偏向於脫脫，預料到別兒怯不花將會很快垮台，脫脫將會東山再起。這個善於鑽營的小人，經過一番苦思冥想、權衡利弊以後，決定仍然把賭注押在脫脫身上。於是，在別兒怯不花說脫脫壞話期間，哈麻也在順帝麵前替脫脫說上幾句好話，作一些排解工作。不管哈麻的目的如何，但客觀上也起到了一些好的作用，也算是哈麻做了一點兒好事。
由於別兒怯不花陷害脫脫不得人心，任相不到一年，就被趕下了台。接著，由朵兒隻和太平分別任了中書右丞相和左丞相。太平為人比較正直，他和朵兒隻密切合作，很快使朝政穩定下來。之後，他開始騰出手來解決禍國殃民的哈麻的問題。為了驅逐哈麻，太平把禦史大夫韓嘉納找來商量，韓嘉納非常讚成驅逐哈麻，於是他們兩人便授意監察禦史斡勒海壽，讓他以監察禦史的身份整理材料，共同彈劾哈麻。經過研究，他們列出了哈麻的罪狀，主要有以下幾點；一是哈麻在禦幄之後設置賬房，沒有君臣之分；二是哈麻以提調寧徽寺、掌握脫忽裏皇後錢糧為名，頻繁出入明宗妃子、順帝庶母脫忽思皇後宮闈，越分無禮；三是私受賄賂，妄作威福等等。奏章剛剛擬出，還沒等上奏，其事就被哈麻的耳目所偵悉，他們很快就告訴了哈麻。哈麻一聽，如同一盆冷水澆到頭上，渾身直哆嗦。過了一會兒，他才鎮定下來。俗話說“惡人先告狀”。他便搶先跑到順帝麵前哭訴，說自己如何忠心於皇帝，根本沒有罪。隻是太平、韓嘉納曾與以前的中書右丞相別兒怯不花等十人約為兄弟，陰謀把持朝政。現在，別兒怯不花因罪被罷去中書右丞相之職，可太平、韓嘉納他們卻把別兒怯不花被罷的責任推到了我身上，因此，想方設法搜集我的材料，妄稱罪過，以唆使斡勒海壽出頭，將臣劾奏，以泄其憤，為臣實屬冤枉。說著說著，就抹起眼淚來了。大凡世界上的小人，都會搗鬼。哈麻的一席鬼話，還真使順帝相信了，連連向哈麻解釋說，並無奏章，何必著急。哈麻還是不放心，一定要順帝答應替他做主，方才離去。
第二天早朝，韓嘉納果然以禦史所言上奏，順帝見應了哈麻的話，頓時怒往上湧，氣不打一處來。他連奏章看都沒看，就把韓嘉納斥責了一頓，勒令他把奏章原封不動地拿了回去。
韓嘉納奏劾哈麻受挫，並不甘心，急忙同太平商量對策，兩人認為，哈麻不除，國無寧日，決定冒死進諫。翌日上朝，他們又把奏章遞了上去，順帝仍然不接。不接，再遞，章凡三上，順帝一看沒有辦法隻好把奏章接過來。順帝看過奏章所列哈麻罪狀以後，知道哈麻已惹起眾怒，如果再不采取一點措施的話，很難平息眾臣之憤。但他心裏又偏向哈麻，僅僅貶黜哈麻，又覺得於心不忍。經過一番思考以後，順帝以為不如將他們雙方一概黜退，既可以安慰哈麻之心，又可以緩和當時的激烈矛盾。想到這裏，順帝立即命侍臣草擬詔書，免去哈麻之官，令其出居草地；罷去太平左丞相之職，降為翰林學士承旨；罷去韓嘉納禦史大夫之職，降為宣政使；罷去斡勒海壽監察禦使之職，出為陝西廉訪副使。詔令發下不久，脫忽裏皇後又來哭訴，她說禦史劾奏哈麻之事侵犯了她，影響了她的聲譽，一定要順帝給她做主，為她恢複名譽。脫忽思皇後是順帝庶母，她這麼一哭，弄得順帝六神無主，心情焦躁，更加憤怒，急忙再傳詔旨，把韓嘉納趕出京師，令其出任江浙行省平章政事；又下令奪去斡勒海壽之官，屏歸田裏，禁錮起來。一場彈劾奸佞哈麻的鬥爭，就這樣被順帝稀裏湖塗地“平息”下去了。
哈麻被貶，本來是罪有應得。可他心裏明白，這不過是順帝想掩人耳目的一項權宜措施罷了，他堅信自己不久就會重新被任用。所以，他並沒有因此而檢討他的荒唐作為，根本沒有悔罪表現，相反，卻依靠他取媚順帝的成功，滿懷信心地等待東山再起。