除了政治主張，吳佩孚對政府的其他事務也越來越關心了。對於吳佩孚來講，他隻不過為了盡自己一份微薄之力，但在曹錕眼裏，吳佩孚卻功高蓋主，令人不安。
吳佩孚在北洋政府的地位如日中天，他在河南的軍隊勢力也日漸龐大。到了1924年前後，吳佩孚控製了直隸、河南、陝西、山東、湖北等地，擁兵十萬之重，並實際掌握了北洋內閣的權利，以至全國十八個省的總督、督軍紛紛到洛陽設立辦事機構，洛陽一時間成了北洋政府重要的政治中心，甚至有人把吳佩孚在的洛陽稱為“西宮”，連吳佩孚的老上司都不無嫉妒地說，“洛陽打個噴嚏，北京天津都要下雨”。這個時期，吳佩孚的聲望、軍事實力、政治地位都達到了頂峰。1924年9月8日，吳佩孚的頭像登上了美國《時代》雜誌的封麵，在他的照片下麵，寫著這樣兩行字：
GENERAL WU（吳將軍）
Biggest man in China（中國最強者）
在當時混亂的政治下，全國都把目光集中到吳佩孚身上，很多人相信，隻有吳佩孚能結束軍閥混戰的局麵，就連美國人、上海英文雜誌《密勒氏評論報》的主編約翰·鮑威爾也覺得吳佩孚“比其他人更有可能統一中國”。
然而，曆史並不總是按照人們的意願前進。就在吳佩孚登上《時代》雜誌的一個星期之後，在東北臥薪嚐膽的張作霖突然發難，帶兵十五萬，分山海關、赤峰、承德三路向關內進軍。出發之前，張作霖還不忘調侃曹錕，說聽說他依然被吳佩孚控製，當著傀儡，把曹錕氣得夠嗆。
第二次直奉戰爭爆發，吳佩孚帶兵在前線激戰。正當直、奉兩軍戰得不可開交之際，吳的老部下馮玉祥臨陣倒戈，連夜帶兵潛回北京，控製了曹錕，奪取了中央政權。過了很久，吳佩孚才得知北京政變的消息，這時想要還擊已經為時太晚了。吳佩孚對馮玉祥的背叛深感不解，他親筆寫信給馮玉祥：“與足下袍澤數年，以心相印，今被暗算夫複何言！……佩為亡人，亦曾受教於君子，惟不明心跡，是以不免耿耿耳。”
第二次直奉戰爭成了吳佩孚人生的分水嶺。為了躲避馮玉祥、閻錫山的圍剿，他帶著不足兩千人的餘部，從天津逃到山東，從山東逃到湖北，遭到拒絕入境後，又躲進了深山。這樣一位曾經叱吒風雲的大帥，在政治生涯的最後一幕，竟落得如此淒涼。據說，吳佩孚躲在深山之後，又遭到段祺瑞手下的暗殺，因為終日憂心忡忡，吳佩孚一夜白頭。
死於牙病，千人送行
曾擁貔貅百萬兵，時衰蜀道苦長征。疏狂竟誤英雄業，患難偏增伉儷情。
楚帳悲歇騅不逝，巫雲淒咽雁孤鳴。匈奴未滅家何在，望斷秋風白帝城。
被迫下野後，吳佩孚試圖掙紮一番，重返政壇，但最終失敗了。落魄之中，他寫下了這首詩，回顧自己輝煌的一生。不管在打仗過程中用過多少詭計，吳佩孚始終是一個正義凜然的堂堂軍人。他至死堅守自己的“四不原則”——不納妾，不積金錢，不留洋，不走租界。
被馮玉祥驅逐追殺之際，吳佩孚從天津逃到山東，被老家拒絕入境；他轉而投奔湖北，又被湖北禁止入境，可謂四麵楚歌。當時，有部下建議他躲到外國租界中，被他拒絕了。他覺得“堂堂軍官，托庇外人，有傷國體”，寧可躲進深山，也不願意向外國人求助。
吳佩孚在他的一生中，還做了一件功德無量的大事。當時，國會議員們在宣武門內象房橋國會廳辦公，他們嫌辦公地點狹小，想要把紫禁城的三大宮殿拆掉，建成西式大廈。為了拆除後分款一事，國會議員和參議員們爭執了很久。這件事被在洛陽練兵的吳佩孚知道了，他勃然大怒，斥責議員們貪圖小利的思想，並越過他們，直接致電給總統、內閣總理、財務總長和內務總長四人：
頃據確報，北京密謀，決拆三殿，建西式議院，料不足則拆乾清宮以補足之，又遷各部機關於大內，而鬻各部署。賣五百年大棟木殿柱利一；鬻各部署利二；建新議院利三；建各新部署利四。倡議者處心積慮，無非冀遂中飽之私。