第二次較量是在延安，這一次張國燾敗得更慘。
長征過程中，紅一、四方麵軍懋功會師，毛澤東、張國燾相擁而慶。然而，自恃兵強馬壯的張國燾卻拒絕北上，企圖另立中央。經曆了南下的數次慘敗後，張國燾不得不放棄南下的錯誤主張，三過草地，也北上到達延安。
張國燾到延安後，政治地位與紅一、四方麵軍會師時不可同日而語，但他還是政治局委員，黨的一係列重要文電，都有其署名。
中共駐共產國際代表張浩歸國後，帶來了共產國際的指示，中共負責人應由毛澤東擔任。張浩以仲裁者的身份出現，分別找毛澤東、張國燾詳談了數次。張國燾接受了共產國際的指示，表示服從毛澤東在黨內的領導地位。
不久，西路軍失敗的消息傳到延安，張國燾失聲痛哭。聯係到張國燾在過草地期間“逼宮奪權”的表現，左路軍三過草地、南下川康的失敗，1937年前後，延安各界紛紛要求批判和清算張國燾妄圖分裂黨、分裂紅軍的罪行。
一次，在與抗大學員“麵對麵”的會上，許多來自紅四方麵軍的高級指揮員對張國燾遮遮掩掩的認錯態度極不滿意。少林將軍錢鈞（1955年被授予中將軍銜，曾任南京軍區副司令員）揭發到義憤處，忍不住走上台來，脫下布鞋，朝張國燾劈頭蓋臉地打去，全場立時震驚了。張國燾忙站起身，捂著臉，舉起一隻手，高聲吼道：“我抗議，我抗議。我還是中央政治局委員，你居然敢打我！”
事後，毛澤東親自到張國燾住處，向張國燾賠禮道歉並與之談話。
幾天後，張國燾給中央政治局寫下了檢討。他承認：“我否定中央的政治路線，實際上是為了爭奪紅軍的最高指揮權。”
中央對張國燾的這份檢討比較滿意，認為他終於部分地認識到了錯誤。
然而，沒過多久，王明的歸來卻令張國燾如芒刺在背，並最終成了他叛逃的導火線。
那天，張國燾一如既往，早起晨練。不料，幾名管理人員徑直走上前，讓他今天必須騰出他所在的那孔窯洞，供另外一位中央領導居住。他不解地打探，究竟是哪位領導。對方告訴他是剛從蘇聯歸國的王明。聞知是王明，已現怒態的張國燾在寒風中一激靈，冰冷襲擊全身。
這次，王明是以中共駐共產國際代表團團長、共產國際執行委員會委員和主席團委員的身份回國的，不僅帶著共產國際的“尚方寶劍”，而且回國前還受到了斯大林和季米特洛夫的接見。當時中國共產黨仍然是共產國際的一個支部，王明的份量可想而知。一時間，毛澤東、張聞天、王明，人們已分不清誰是中共的最高領袖了。
昔日的對手王明從共產國際歸來，以欽差大臣自居，而張國燾卻正失勢落魄，兩相比較，他當然明白自己的處境。
張國燾打心眼裏厭惡王明，他在後來的回憶錄中寫道：“王明當時儼然是捧著尚方寶劍的莫斯科的‘天使’，說話的態度，仿佛是傳達‘聖旨’似的。可是他仍是一個無經驗的小夥子，顯得誌大才疏，愛放言高論，不考察實際情況，也缺乏貫徹其主張的能力和方法，他最初幾天的表演就造成首腦部一些不安的情緒。”
惹不起躲得起，於是，張國燾悄悄帶著家人，到山下一僻靜處，另外找了孔窯洞，隱居起來。他心裏默默地說，一定要找到王明的軟肋，以出當年的惡氣。他相信，以王明的無知與狂妄，肯定會出一些昏招，不愁抓不住其“辮子”。