1901年11月8日生於中國山西省五台縣永安村。原名徐象謙，字子敬。1911年在永安村讀私塾，三年後再讀高小兩年。1917年因貧困失學，在河北省阜平縣一家書店（後為雜貨店）當學徒。1919年春，考入太原市山西省立國民師範學校速成班學習，在校期間受五四運動影響，參加進步活動。1923年畢業後，曾在陽曲縣城太原第四小學和五台縣河邊村川至中學附屬小學任教，因秉性剛直，向學生灌輸進步思想，兩次被辭退。1924年5月初，考入黃埔軍校，編入第一期第一隊。9月，被編入孫中山衛隊前往韶關參加北伐誓師。11月底畢業後留校任第三期入伍生隊第三隊副排長、排長。1925年2月至6月，參加討伐軍閥陳炯明的第一次東征。同年夏天，被派到河南國民第二軍第六混成旅任教導營教官、旅司令部參謀、第二團團副等職。1926年11月到武漢後，任南湖學兵團指導員。1927年3月，加入中國共產黨。4月，任武漢中央軍事政治學校少校隊長。曾率學生隊參加攻打叛軍夏鬥寅部，後被派往張發奎部任司令部參謀。7月底，隨張發奎部開到九江。南昌起義後，幾經波折，奔走武漢、上海找到黨組織。9月，在上海被中共中央軍委派赴廣州，在工人赤衛隊中任第六聯隊隊長。12月，參加廣州起義，率隊苦戰三晝夜。起義部隊在花縣改編為工農革命軍第四師，任第十團黨代表。
在轉往海陸豐地區途中，升任第四師參謀長。1928年6月，任第四師師長，與彭湃等堅持武裝鬥爭。1929年1月，根據東江特委決定，帶部分人員撤出海陸豐地區。3月，由九龍到上海。6月11日，受中共中央軍事委員會派遣前往鄂東北，先後任中國工農紅軍第三十一師副師長，中共鄂豫邊特委委員，鄂豫邊革命委員會軍事委員會主席，指揮弱小的紅軍挫敗國民黨軍隊發動的三次“會剿”，殲滅大量地主武裝，擴大了武裝割據地區。在此期間，總結海陸豐武裝鬥爭失敗的教訓和鄂豫邊鬥爭的經驗，與黨代表戴克敏等共同起草《軍事問題決議案》，提出領導邊區武裝鬥爭的方針，以及集中作戰、分散遊擊，紅軍作戰盡量號召群眾參加，敵進我退、敵退我進等遊擊戰術等七項原則，對鄂豫邊紅軍的建設和遊擊戰爭的發展起了積極作用。1930年春，任第一軍副軍長兼第一師師長。乘軍閥在中原地區混戰之機，率部轉戰於平漢鐵路南段，連克雲夢、光山、羅田等縣城。1931年初，第一軍與第十五軍合編為第四軍，任軍參謀長。協助軍長曠繼勳等指揮部隊，在地方武裝配合下，連續挫敗國民黨軍對鄂豫皖蘇區第一、第二次“圍剿”。7月，任第四軍軍長，與政治委員曾中生率部南下，一個月內連克英山、羅田、浠水、廣濟四城，殲敵七個多團。11月，當選為中華蘇維埃共和國中央革命軍事委員會委員，任第四方麵軍總指揮兼第四軍軍長。采取集中兵力、圍點打援、擊敵一路、各個殲滅的方針，半年中組織指揮了黃安、商（城）潢（川）、蘇家埠、潢（川）光（山）戰役，殲敵正規部隊近四十個團，使國民黨軍對鄂豫皖蘇區的第三次“圍剿”計劃徹底破產，紅軍發展到四萬餘人。在此期間，對張國燾軍事指導的錯誤和“肅反”的錯誤進行了抵製和鬥爭。
1932年10月，由於敵人的強大和張國燾戰略指導的錯誤，鄂豫皖紅軍未能打破國民黨軍的第四次“圍剿”，第四方麵軍主力兩萬多人被迫撤出鄂豫皖蘇區。在向西轉移中，他指揮部隊連續擊破了國民黨軍十萬餘人的圍追堵截，翻秦嶺，涉漢水，越過大巴山，曆盡千辛萬苦，行程一千五百餘公裏，勝利地進入四川通江、南江和巴中地區，開辟川陝革命根據地。
1933年2月起，根據川陝地區的特點，采取收緊陣地、節節抗擊、伺機反攻、重點突破的作戰方針，連續指揮了反“三路圍攻”和儀（隴）南（部）、營（山）渠（縣）、宣（漢）達（縣）等戰役，並與王維舟率領的川東遊擊軍會合，使紅軍得到很大發展，川陝蘇區進入鼎盛時期。1933年11月至1934年8月，指揮所部抗擊國民黨軍二十多萬人的“六路圍攻”，以靈活多變的戰術取得殲敵一萬餘人的重大勝利。1934年2月，被選為中華蘇維埃共和國中央執行委員。1935年春，指揮廣（元）昭（化）、陝南、強渡嘉陵江等戰役後，率部長征。6月，第一、第四方麵軍會師後，被任命為紅軍前敵總指揮部總指揮。參加中共中央在毛兒蓋召開的軍事工作會議，積極擁護中共中央北上創建川陝甘根據地的戰略方針。會議期間，被增補為第六屆中央委員，並獲中央革命軍事委員會授予的金質紅星獎章。會後率右路軍北上，指揮包座戰鬥，全殲胡宗南部第五十九師，打開了進軍甘南的通道。同年9月，與毛澤東、周恩來、陳昌浩等電促張國燾率左路軍北進。在中共中央和第一、第三軍北上後，積極維護黨和紅軍的團結，和第四方麵軍廣大指戰員支持朱德、劉伯承等反對張國燾分裂活動的鬥爭，推動部隊第二次北上。1936年7月，第四方麵軍與第二方麵軍會師後，任中共中央西北局委員。8月，再次率軍北上，指揮了通（渭）莊（浪）靜（寧）會（寧）戰役。會寧會師後，奉中央軍委命令，率第四方麵軍一部西渡黃河，執行寧夏戰役計劃。11月，任西路軍軍政委員會副主席兼西路軍總指揮，率部繼續西進，計劃在河西走廊創建根據地，伺機打開到新疆的通路。西路軍浴血奮戰四個多月，殲敵二萬餘人，有力地策應了河東紅軍的戰略行動，但終因敵眾我寡、彈盡糧絕而失敗。他曆經艱險，於1937年6月到達延安。