1930年夏學成回國，先後任中共中央軍事委員會參謀長、長江局軍委書記兼參謀長、中央軍委委員，協助中央軍委書記周恩來處理軍委日常工作，舉辦短期軍事訓練班，並負責講授暴動方略、遊擊戰、運動戰等課程。
1932年1月前往中央蘇區首府瑞金，任中央軍事政治學校校長兼政治委員。10月任中國工農紅軍總參謀長，協助朱德、周恩來在前方指揮作戰，取得第四次反“圍剿”作戰的勝利。期間，撰寫《現在遊擊隊要解答的問題》、《到敵人後方開展遊擊戰爭的幾個教訓》等，並翻譯多篇蘇軍教材和理論文章，促進了紅軍幹部軍事素質的提高。
1934年在第五次反“圍剿”中，因反對共產國際派來的軍事顧問李德在作戰指揮上的教條主義和專橫作風而被撤銷總參謀長職務，降任第5軍團參謀長。
1946年2月，*、劉伯承、薄一波等合影
長征初期，協助軍團長董振堂執行後衛任務，掩護中央機關通過國民黨軍四道封鎖線。1934年底複任紅軍總參謀長，兼中央縱隊司令員。
1935年1月指揮先遣部隊突破烏江，智取遵義，甩開了敵軍主力，使傷亡大半、疲憊不堪的中央紅軍獲得了一次難得的短期休整。遵義會議上，他堅決擁護*的主張。會後，協助*等組織指揮了四渡赤水、二進遵義等戰役，使部隊跳出了敵軍包圍圈，直插雲南北部，並親率幹部團搶占皎平渡，保障全軍渡過天險金沙江。5月兼任紅軍先遣隊司令，同政治委員聶榮臻率部進入大涼山，與彝族首領小葉丹歃血為盟，使全軍順利通過彝族聚居區。繼而指揮所部在安順場強渡大渡河，打開紅軍北上的通路。紅一、紅四方麵軍會合後，堅決執行中共中央關於北上抗日的方針，在逆境中和朱德一起同張國燾的分裂活動進行了鬥爭，被張國燾撤銷總參謀長職務，降為紅四方麵軍紅軍大學校長。
1936年10月紅軍三大主力會師後，任前敵總指揮部參謀長、紅軍總參謀長、援西軍司令員等職。
抗日烽火
抗日戰爭爆發後，任八路軍第129師師長，和政治委員*一起，率部奮戰在太行山上。麵對不可一世的日本侵略軍，他經常用“勇是男兒頭上的桂冠”、“無角綿羊受欺壓，有蟄的黃蜂不可侮”等話語來激發將士們的對敵鬥爭信心。他指揮部隊先後進行了夜襲陽明堡、設伏七亙村以及長生口、神頭嶺、響堂鋪、晉東南反“九路圍攻”、冀南反十一路“掃蕩”、百團大戰中的正太榆遼等一係列著名戰役戰鬥，給侵華日軍以沉重打擊，創建了晉冀魯豫抗日根據地。他堅決執行中共中央、中央軍委的戰略方針，積極組織正規軍、遊擊隊和民兵相結合的遊擊集團，並組建大量武裝工作隊，實行“敵進我進”，向敵占區、交通線廣泛出擊，粉碎了日偽軍的頻繁“蠶食”和殘酷“掃蕩”。與此同時，他率部多次反擊國民黨頑固派對根據地的進犯，牢牢把緊太行山這道華北抗日根據地的“南大門”，使“平遼半壁山”得以免遭敵寇的蹂躪塗炭。