不久，陝甘遊擊隊正式改編為中國工農紅軍第二十六軍第四十二師第二團，團長王世泰，杜衡兼軍團兩級政委劉誌丹以黨的利益為重，積極協助好團長的工作，實際參加了許多場戰鬥的指揮，他經過對各路敵人的比較分析，提出首戰焦坪。為了麻痹敵人，部隊按照劉誌丹的布置，於25日夜撤離駐地楊家店子，佯作西攻馬攔，26日夜秘密突回焦坪，27日淩晨發起攻擊，幾乎未遇任何抵抗，就一舉全殲守敵，俘敵60多人，自己無一傷亡。接著，又打了若幹艱苦的遊擊戰，掃除了四周白點，用一個月左右的時間初創了照金根據地。
由於力量不足，劉誌丹提出暫不與其餘白點強敵交鋒，而是集中精力在已開辟地區進行土地革命，但杜衡卻執意要打。1933年1月17日夜，開始強攻廟灣，部隊傷亡很大，被迫撤出戰鬥。這時，指戰員們強烈要求恢複劉誌丹領導職務。杜衡把所有責任推到參謀長鄭毅身上，撤了他的職務讓劉誌丹接任，並誇大敵人的力量，提出放棄照金根據地，南下創造商洛新區，與外蒙聯係，打通國際路線。劉誌丹想竭力說服杜衡依托橋山山脈中段，在慶陽、合水一帶堅持鬥爭，但他的發言被杜衡武斷拒絕，還誣蔑劉誌丹“一貫右傾”。
5月29日，杜衡強令部隊撤離照金，南渡渭河。但當部隊到達渭河橋渡口，杜衡被強敵嚇得魂飛魄散，竟以向省委彙報為名，獨自逃跑。杜衡走後，劉誌丹帶領部隊與追擊的敵人左右周旋，邊走邊戰，順利渡過渭河。但在藍田張家坪一帶被5000餘強敵圍攻，劉誌丹眼見取勝無望，遂將部隊分成三路，命令扔掉所有車馬輜重，輕裝突圍，劉誌丹、曹士榮一路在終南山一帶輾轉苦戰兩個月，部隊損失慘重。彈盡糧絕之際，劉誌丹率十餘人衝出重圍，在深山老林裏潛伏打遊擊，采集野果充饑，時值盛夏多雨，加之敵人經常派兵搜山，處境十分困難。
革命的嚴重挫折，動搖不了劉誌丹堅定的意誌，他親切地和戰士們談心，鼓舞士氣說：“月亮都有時圓，有時缺呀！革命在一時一地的失敗，算得了什麼？失敗了再幹呀！咱們道理正，窮苦人都站在咱們這邊！”“天不能老是陰雨，總有個放晴的時候！”後來他動員大家突圍，在通過封鎖線時又遭到敵人的襲擊，大部分人犧牲了。劉誌丹奮力拚搏，死裏逃生，一個人衝了出來，隨即隱蔽在深山裏，晝伏夜出，幾次遇險，幾乎喪生。但他堅強地戰勝種種困難，後來遇見紅二十六軍先鋒隊一個戰士，才被救下山，與失散的王世泰、曹士榮等會合。1933年10月4日，劉誌丹、王世泰等脫險返回照金根據地。
1933年夏，日本帝國主義加快侵華步伐，全國掀起了轟轟烈烈的抗日救亡熱潮，革命形勢又有新發展。7月21日，陝軍騎兵團團長王泰吉率部在耀縣通電起義，成立西北民眾抗日義勇軍，受挫後，與新成立的耀縣遊擊隊(負責人張邦英、張仲良、陳學鼎)等部轉入照金，壯大了艱苦支撐的照金根據地。同時，由於這時陝西省委遭破壞，陝甘邊擺脫了左傾錯誤的直接統治，形勢發展轉為有利。
8月，陝甘邊特委舉行黨政軍聯席會議，糾正了分散紅軍的錯誤主張，決定成立陝甘邊紅軍作戰臨時總指揮部，統一指揮革命武裝，任命王泰吉為總指揮。10月4日，劉誌丹脫險回到照金，即被任命為副總指揮兼參謀長。劉誌丹總結了二十六軍南下失敗的教訓，對習仲勳說：“這次我們又上了機會主義的大當，又吃了一次大虧！現在好了，陳家坡會議總算清算了左傾錯誤，回到正確路線上來了。現在需要把部隊集中起來，統一領導，統一指揮，我們重新幹起來，前途是光明的。”
由於紅軍有了正確的軍事領導，很快就取得了許多勝利，相繼收複了一些地區。
幾年鬥爭，劉誌丹跑遍了陝甘邊的山山水水，對於各方麵情況已了如指掌，一個促進革命發展的計劃在他腦中已經醞釀形成。在11月3日於包家寨召開的陝甘邊特委、陝甘邊工農民主政府、陝甘邊紅軍總指揮部聯席會議上，劉誌丹提出了具有遠見的建議，即把陝甘邊與陝北的遊擊戰爭作為一個戰略全局來考慮，劃分三個戰略區，成立三路遊擊隊總指揮部：即陝北、南梁、照金戰略地區一、二、三路總指揮部，軍事總後方北移到南梁，紅四十二師駐南梁居中策應。
這個建議，扭轉了長期以來陝甘邊黨和紅軍在戰略方向上徘徊不前的局麵。過去，省委雖曾先後決定以渭北和照金作為戰略總後方，但因距敵統治中心太近，雖經苦戰奮鬥，能一時立住腳跟，但均在數月後被迫退出。而南梁雖未經過大革命的洗禮，黨和群眾的基礎也不及渭北、照金好，但人民的革命要求還是非常迫切的，況且這裏位於陝甘交界處，山大林深，地勢險要，有廣闊的活動空間。這一地區隻有地方軍閥和民團把守，他們各派之間矛盾很多，相互戰亂不斷，紅軍更易生存發展。