第一次“圍剿”的失敗，讓蔣介石意識到事態的嚴重性。為了徹底消滅紅軍，他開始計劃發動對中央蘇區的第二次“圍剿”。蔣介石再次派何應欽前往江西組建“南昌行營”，並任命他為代總司令。這次，除了參與第一次“圍剿”的主力部隊，一些雜牌軍也被蔣介石調進了贛南，參與作戰。參加第二次“圍剿”的國民黨軍部隊共四個軍，其中包含十四個師和一個獨立旅，共計二十餘萬人。蔣介石這次可是下了血本，誓要在三個月內消滅紅軍。而即將被“圍剿”的紅一方麵軍，此時隻有4萬人的兵力，雙方戰前兵力對比是5∶1。麵對比第一次“圍剿”更加嚴峻的形勢，紅軍又將何去何從？
從1931年1月18日開始，紅軍總部就發出了籌款籌糧的命令，要求各部隊以最大力量籌足三個月的給養，準備應對敵人的下一次“圍剿”。紅軍各部接到命令後，立即分頭行頭，積極籌措糧款。另外，紅軍還動員、組織人民群眾實行堅壁清野，讓國民黨進入蘇區後得不到任何物資。
為領導地方武裝進行遊擊戰，紅軍建立了東、西、南、北、中五個指揮所，並劃分出十個遊擊區，分別下達了作戰任務。要求各部隊以“化整為零”、“化零為整”的多種作戰方式，在蘇區廣泛開展遊擊戰，已達到消耗敵人的目的。
1931年4月1日，國民黨展開了全線進攻，向江西寧都圍攻而來，企圖在閩西地區與紅軍決戰。
蔣介石受第一次“圍剿”失敗的影響，改變了戰術。他認為之前的失利是由於“兵力之不足，包圍之未嚴，而部隊急進亦一主因也”，因此不再采取“長驅直入，分進合擊”的作戰方針，轉而實行“穩紮穩打，步步為營，緊縮包圍”的戰法。蔣介石規定：偵察部隊必須在大部隊行動前一天探好路，部隊每天隻前進五至二十裏，每到一處，就要立即修建防禦工事，保證一步步把包圍圈縮小。另外蔣介石還對根據地實行了經濟封鎖，派重兵把守通往中央蘇區的公路和水路，禁止一切物資進入根據地。
4月，紅一方麵軍領導在青塘召開了蘇區中央局擴大會議。會議先是討論了反“圍剿”的戰略方針問題，受王明“左”傾教條主義影響的中央代表團成員認為：敵人的包圍圈很緊，紅軍不可能粉碎敵人的“圍剿”。因此應該“分兵退敵”，甚至主張在必要時，拋棄舊的根據地，退出江西，到四川去建立新的蘇區。
這時，參加過第一次反“圍剿”的紅軍領導站了出來。他們在會議上介紹了紅軍第一次反“圍剿”勝利的經驗，客觀分析了雙方的形勢：敵人的兵力雖然多，但軍閥之間矛盾重重，而且缺乏群眾基礎；而紅軍則恰恰相反，占據了足以打敗敵人的諸多優勢。他們主張應該依靠根據地的廣大人民群眾，堅持反“圍剿”鬥爭。最終，毛澤東提出的“戰略退卻、誘敵深入”的正確的戰略方針被采納，為第二次反“圍剿”的勝利奠定了基礎。
接著，會議又對“怎樣殲敵”的問題展開了討論。有人主張先打蔣光鼐、蔡廷鍇的第十九路軍，這樣有利於紅軍打開出路。但毛澤東卻提出：第十九路軍戰鬥力強，先打他，就是先啃硬骨頭，不容易取得勝利。因此，應首先攻打較弱的第五路軍，然後由西向東橫掃，采取“憑你幾路來，我隻一路去”的戰術，集中兵力各個擊破敵人。毛澤東的這番分析說服了在場的與會者。4月19日，紅軍總部下達作戰命令：“決心以極迅速行動首先消滅王金鈺敵軍，轉向敵人攻圍線後方與敵軍作戰，務期各個消滅敵軍。”
王金鈺的第五路軍剛從北方調來，士兵對南方水土不服，且不慣爬山，極影響戰鬥力。而且王金鈺一心想保存自己的實力，十分害怕被紅軍殲滅，是四路大軍中最弱的一支。4月7日，王金鈺的右路——由公秉藩率領的第二十八師侵占了富田。公秉藩果然極怕遭到襲擊，一到駐地便開始大修防禦工事。
此時，紅軍已經來到東固山區隱蔽集結，以圖尋找戰機，消滅敵人。此地距離南、西、北三麵的敵人都隻有二十至五十裏，紅軍就在敵人的“牛角”中隱伏下來。東固山區地勢險要，給養十分困難，糧食供應緊張，戰士們一天隻能吃兩頓飯，有時甚至要上山挖野菜充饑。就是在如此困難的情況下，紅軍戰士們一直堅持了25天，終於等來了戰機。