四個月後，5月21日淩晨，正在北京的張國燾，落入了北洋軍閥的京師警察廳手中。據當時的《北洋政府京師警察廳呈報拘捕張國燾文》所載：
在臘庫16號杏壇學社內，查獲張國燾同一女子楊子烈奸宿，當場搜出中國共產黨第三次全國大會決議宣言書，並信函多件。[1]
一個星期後，5月28日，上海《申報》披露了張國燾受到嚴刑拷打的消息：
張等被捕後，即拘於鷂兒胡同偵緝隊中。現據偵緝隊中傳出消息，連日對張等嚴訊，唯並無任何口供。故自前日起，偵緝隊已開始拷訊，且每日拷打三四次之多。聞在張室中搜出之文件等，偵緝隊認為關係重大者頗多，中且有派人赴俄護照一紙，上有加拉罕[2]簽字，偵緝隊對此追究頗嚴，謂此護照係俄國人接洽得來，然關於此層尚無結果也。
經過嚴刑拷打，張國燾招供了。據1924年5月30日《京畿衛戍總司令部谘請轉令嚴拿共產黨李大釗等歸案訊辦文》所載：
案據京師警察廳解送拿獲共產黨人張國燾等一案，業將審訊情形函達在案。茲經派員將張國燾提訊明確，據稱：伊等以私組工黨為名，實行共產主義。陳獨秀為南方首領，有譚銘（平）三等輔助進行；北方則李大釗為首領，伊與張昆弟等輔助進行。北方黨員甚多，大半皆係教員學生之類，一時記憶不清。時常商量黨務，男黨員有黃日葵、範體仁、李駿、高靜宇[3]、劉仁靜、方洪傑等，女黨員有陳佩蘭、繆佩英等。查李大釗充膺北京大學教員，風範所關，宜如何束身自愛，乃竟提倡共產主義，意圖紊亂國憲，殊屬膽玩不法。除張國燾等先行呈明大總統分別依法判決外，其逸犯李大釗等相應谘行貴部查照，轉令嚴速查拿，務獲歸案訊辦，以維治案，而遏亂萌。
由於張國燾供出了李大釗，京師警察廳派出偵緝隊密捕李大釗。李大釗得知風聲，迅即離開北京銅幌胡同寓所，避往河北樂亭老家。當晚，李寓便遭查抄。然後，偵緝隊又追往河北樂亭。中國共產黨中央及時安排李大釗前往蘇俄出席共產國際“五大”，才使他免遭毒手。
不過，當時中國共產黨中央並不知道供出李大釗者是張國燾。除了李大釗之外，京師警察廳根據《張國燾供出在京黨員姓名單》《張國燾供出各路在黨工人姓名單》，逮捕了中國共產黨黨員範體仁等多人。
張國燾與毛澤東在延安合影
1924年10月，馮玉祥發動北京政變，曹錕政府垮台，中國共產黨組織趁機營救被捕人員，張國燾獲救。他對自己獄中招供一事守口如瓶，中國共產黨組織亦未察覺。直至解放後，這些當年的審訊檔案落入中國共產黨之手，才使張國燾那五個月鐵窗生涯得以真相大白。
張國燾出獄不久，出席中國共產黨“四大”，當選為中央執行委員兼工農部主任。
1927年，在中國共產黨“五大”上，張國燾當選為中國共產黨中央委員、政治局常委兼組織部部長。
1928年6月，張國燾赴莫斯科出席中國共產黨“六大”，當選中國共產黨中央政治局委員。會後，張國燾擔任中國共產黨駐共產國際代表團副團長，留駐蘇聯，直至1931年1月下旬，才由莫斯科回到上海。
1931年4月，張國燾進入鄂豫皖根據地，擔任鄂豫皖中國共產黨中央分局書記兼軍委主席。
1935年6月，在長征途中，毛澤東、周恩來所率紅軍第一方麵軍與張國燾所率紅軍第四方麵軍會師於四川懋功。毛、周主張北上抗日，張國燾以為“長征是失敗”，主張在川西休整，雙方產生尖銳的分歧。
1935年10月，張國燾自立“中國共產黨中央”、“中央政府”、“中央軍委”，自封為主席，並宣稱：
毛澤東、周恩來、博古、洛甫[4]應撤銷工作，開除中央委員及黨籍，並下令通緝。楊尚昆、葉劍英應免職查辦。
張國燾南下不得，西進失敗，不得不於1936年10月率部北上，與毛澤東所率中央紅軍主力會合。
1937年3月，中國共產黨中央在延安召開政治局擴大會議，批判了張國燾的錯誤，通過了《關於張國燾錯誤的決定》，指出張國燾“犯了許多重大的政治的原則的錯誤”。張國燾也寫了《我的錯誤》，表示：
我的錯誤是整個路線的錯誤，是右傾機會主義的退卻路線和軍閥主義最壞的表現，是反黨反中央的錯誤。這錯誤路線不僅在各方麵表現它的惡果，使中國革命受到損失，而且造成極大罪惡，客觀上幫助了反革命。[5]