曹錕雖然為段祺瑞的下台出了大力，可下台後的段祺瑞卻沒有像馮國璋那樣離開政治權力的中心。
新任的大總統徐世昌雖然把總理的職位交給了自己的心腹勒雲鵬來做，卻怎麼也控製不了軍隊。段祺瑞沒了總理的頭銜，卻仍然擁有安福國會與參戰軍。有了這一文一武的兩張王牌，他可以繼續完全不買總統徐世昌的帳，來隨心所欲的操控北京政權。
到了1919年6月，段祺瑞將自己掌控的參戰軍改編為邊防軍，自任邊防軍總司令。改編後的邊防軍比原來編製擴大，兵力增多，擁有三個師和四個混成旅。北京城的軍營終是住不下了，移出一部分往西北。為牢牢地將軍隊統統掌控在自己手上，段祺瑞委任心腹大將徐樹錚為西北籌邊使兼西北邊防軍總司令。
段祺瑞此時最想做的事，就是擊潰曹錕為領袖的直係勢力。這不僅是為了要報複曹錕之前讓吳佩孚前線倒戈的拆台行為，更主要的是曹錕此時已是北方軍閥中勢力最大，除了他就剩下奉係統帥張作霖，可張作霖遠在東北，離北京倘有一定距離。獨有這曹錕，他就在保定，在北京的大門邊，直接威脅北京。
對段祺瑞的意圖，曹錕自然心知肚明。為穩妥起見，他同時使出兩招，以為對應。
一招是命令遠在衡陽的吳佩孚回兵保定，增強身邊的力量，既可保證自身的安全，又可共同對付皖係。另一招是與張作霖強強聯合，用北方的兩強，共同對付段祺瑞，自然是綽綽有餘。
吳佩孚接到曹錕的命令，急電大總統徐世昌，要求回師保定。奈何軍事方麵的事情皆由段祺瑞作主，每當徐世昌提到吳佩孚回師一事，段祺瑞皆是堅決反對。徐世昌無法，隻好讓此事就這麼擱著。
張作霖虎踞東北，幾年來軍勢實力發展很快，此時基本上可與曹錕媲美。近年來，崛起的張作霖本來一直在暗中與曹錕較勁。因為他們倆都知道，今後的競爭對手，必是對方無疑。如此一來，彼此關間的關係，一直並不融洽。可是，鑒於段祺瑞對他倆的共同威脅，曹錕伸出手來，張作霖也就緊緊地握住了。
他們倆又聯絡一些其他省份，很快結成了“反皖同盟”。可是，吳佩孚的北歸問題，卻遲遲還沒有落實。
曹錕急了，一麵與吳佩孚商議，發表通電，彈劾皖係頭領徐樹錚等；一麵聯絡徐世昌，共同反對段祺瑞。這兩手軟活剛做完，曹錕馬上命令吳佩孚，以“將在外君命有所不受”為由，於1920年5月20日，離開衡陽，揮師北上。
隨著吳佩孚的北歸，段祺瑞的皖係和曹錕的直係矛盾公開，並且很快白熱化。
6月中旬，吳佩孚部安全撤回中原，在保定、天津布防；張作霖也加緊調兵遣將，把他的奉軍，悄悄地開到京城附近。段祺瑞的皖係當然不會座視不理，也積極地加緊部署。到6月17日，段祺瑞將徐樹錚從西北調回北京，與直係直接武裝對峙。
皖直戰爭，即將爆發。
曹錕調回吳佩孚，又有張作霖相助，對戰勝段祺瑞，信心十足。戰前為鼓勵士氣，曹錕在保定召開13省群英大會，共商擊潰皖係軍隊的有關事宜。其間，張作霖問曹錕：
“對於這次戰事，你有幾成把握？”
“十成，贏家絕對是我們！”
“可皖係的人數比你多，武器也比你的好。”
“打仗主要靠人，我有吳佩孚將軍，皖係裏找不出他的對手。”
張作霖聽後不以為然，可後來的事實證明，曹錕這句話真說對了。
7月14日，直皖正式開戰，吳佩孚首戰告捷，致使皖軍第一路司令官段芝貴吃了敗仗後一口氣退回30裏。吳佩孚乘勝追擊，第二天又偷襲皖軍前敵總部，讓前敵司令官曲同豐乖乖做了俘虜。接下來，吳佩孚隻花了2天時間，到1920年7月18日，就徹底地擊潰了皖係的所有布防，迫使皖係的參謀長徐樹錚，也隻能化裝成普通百姓蒼惶逃命。
張作霖直到開戰兩天後才參戰，雖然出力不大，但還是與直係平分了皖係的南北宛營房。張作霖隻戀舊巢，並不要南苑營房，隻將南苑的12架飛機和皖係遺下的軍械物資連同軍械技術人員，通通擄往奉天。皖係的降軍，也被悉數收編到張作霖麾下。對於張作霖戰後的擄物截人行為，曹錕雖有不滿，卻也隻不過是發牢騷悄悄地罵了一句：
“強盜行為，讓人感到可恥！”
然而，接下來的政治權利分配，曹錕與張作霖的矛盾便不是悄悄罵一句就能解決的了。特別是安徽督軍一職，曹錕要力保直係將領馮玉祥出任，張作霖竟然要推薦張勳來做，在遭到眾人反對後，又堅持力推他的另一兒女親家鮑貴卿來擔任。為此，曹錕與張作霖爭執不休，鬧到大總統府請徐世昌明斷。
直皖戰爭結束的第二天，段祺瑞引咎辭職。為調解曹錕與張作霖的矛盾，徐世昌費盡心機，從中斡旋，讓他們均衡利益，最後再任命張作霖鎮威上將軍，曹錕為直魯豫三省巡閱使，有功之臣吳佩孚為副使，同時還給倆人各賞百萬元，作為補償他們打皖係的軍費。到此，曹錕與張作霖才不再爭下去。