光緒十一年（1885），黃體芳調任兵部左侍郎。他痛感清廷腐敗無能，對外屈辱求和，致使列強頻頻入侵，危機四伏。到任後，先是反對慈禧太後動用巨資營造萬壽山頤和園。後又不顧個人安危，慨然上書朝廷，痛劾北洋大臣李鴻章“治兵二十多年無尺寸功”，“請別簡忠毅大臣治海軍”，還譏諷他“兵權益盛，恐用以禦敵則不足，挾以自重則有餘”。當時，李鴻章正受慈禧太後寵信，掌控軍事、外交、經濟大權，炙手可熱。黃體芳此舉無異於在太歲爺頭上動土，親友們都為他捏了一把汗。
果然，奏折遞到慈禧太後那裏，她當場就惱了：跟李鴻章過不去，其實就是跟她過不去。說李鴻章治兵光會用錢，百弊叢生，毫無成效，這也太過分了！讓李鴻章治海軍，是眾大臣商定下來的大事。難道他們都不及你黃體芳一人有見識？何況大臣進退，權柄操在朝廷，一個兵部侍郎，憑什麼說這個不該用，那個該用？真是豈有此理！慈禧越想越生氣，盛怒之下立即下令著軍機處申飭：“該侍郎妄議更張，跡近亂政，著即拿問。”
幸虧，朝中尚有不少大臣都很同情黃體芳，欽佩他的果敢直言，出麵為其開脫，才算沒被投獄治罪。不過仍被降職二級，調任通政使之職。黃體芳並沒因此減少銳氣，依然不改敢說敢為的本色。上任後發現通政司積有飯銀七千餘兩，立即告誡司內官員，一律不準私分，並奏明立案。後來，朝廷又調他擔任權（代理）左副都禦史，他認為作一名諫官，可以更充分發表自己的意見，便欣然赴任。上任伊始，即上《自治之本在於內治》的奏章，繼續針砭時弊，向朝廷提出各項革新建議。
黃體芳六十歲時，引病辭官，但仍與家人留居京都。身雖退隱，心卻一直關注國家大事。中日甲午戰爭期間，有上書言事官員，每每持稿向其求教。他總是不厭其煩，認真予以修改潤色。中國戰敗後，他憤慨憂慮，深歎國勢日下，曾寫詩痛問：“榻畔他人鼾我室，域中今日算誰家？”於是，在其子紹箕、侄兒紹第的影響下，滋生改革變法的維新思想。光緒二十一年（1895）秋，三人一起在南京拜會維新領袖康有為，並參加了“強學會”。此後，黃體芳不顧年老體衰，積極倡行變法維新。
晚年，他在家鄉瑞安小東門籌建話桑樓（後改名飛雲閣），作為地方文士雅集吟詠之所。光緒二十五年（1899），他在家辭世。生前著有《醉鄉瑣誌》、《漱蘭詩葺》、《江南征書文牘》、《錢虜爰書》等。
黃體芳“為人尚風節，愛才疾惡”道德風範受人敬仰。湖廣總督張之洞與他是同榜摯友，又在翰林共事多年，對其去世不勝惋惜，贈挽聯雲：“惟公及心君國，至老不忘，進則讜言於朝，退則正誼於家，流落江湖吟屈賦；如我不合時宜，知己獨厚，公事道義相規，私事憂樂相恤，滄浪天海碎牙琴。”足見，這位晚清名臣對黃公的評價之高。