劉誌丹1903年10月4日出生在陝北保安縣金湯鎮。六歲時，隨母親到金湯鎮北三十裏的山村誌家樓子溝，在這裏度過了童年。劉誌丹的祖父是清朝拔貢，秉性剛直，喜歡打抱不平，對劉誌丹影響很大。
1921年，劉誌丹從永寧縣縣立高等小學堂畢業後，進了離家五百裏的榆林中學。時值五四運動之後，偏僻的陝北，也被新思潮的影響所波及。榆林中學是當時陝北二十三縣唯一的一所中學，校長杜斌丞是位愛國人士。劉誌丹入學後，正是魏野疇、李子洲等進步教師陸續來校任教之時，劉誌丹深受他們的熏陶和影響。
1924年榆林中學組織起學生自治會，劉誌丹被選為主席。1925年他加入了青年團，不久，加入了中國共產黨。
192 5年秋，劉誌丹和楊國棟等人由組織選派去黃埔軍校學習。劉誌丹畢業後，參加北伐，在東路軍中工作，後又被派到馮玉祥的國民軍中工作，任第四路軍馬鴻逵部黨代表兼政治處長。1 927年夏，馮玉祥實行“清黨”，將劉誌丹等幾十名共產黨員“禮送”出去。劉誌丹費盡周折，抵達武漢，後經黨組織安排，回到陝西擔任省委交通，往返於上海和豫陝間，做秘密聯絡工作。
在“八七會議”精神指引下，陝西省委決定組織兵變，發動農民暴動，建立黨領導的獨立武裝。1928年春，省委派劉誌丹、唐澍、廉益民、吳浩然、謝子長等人前往駐雒南新編第三旅許權中（共產黨員）部準備起義。5月，許旅擺脫軍閥混戰，參加渭華起義。隨後許旅開赴高塘進行改編，成立“西北工農革命軍”，劉誌丹為軍事委員會主席。革命軍和暴動農民相結合，燒毀地主文約、沒收地主糧食和財物，打擊反動民團，懲治罪惡累累的劣紳，在渭南崇寧鎮建立起陝西第一個蘇維埃政權。
當時陝北軍閥井嶽秀鎮壓工農運動，殘殺共產黨員，氣焰囂張。特委書記主張隻做點宣傳工作，不搞武裝鬥爭，甚至要黨組織暫停活動。對此，身為特委軍委書記的劉誌丹竭力反對，積極主張進行武裝鬥爭，提出武裝鬥爭可以有“白色的”（國民黨軍隊中做兵運工作）、“灰色的”（改造土匪武裝）和“紅色的”（建立人民武裝）三種形式，決定以開展兵運為主，相機建立人民武裝。
1929年春，劉誌丹回到保安縣，和曹力如、王子宜通過鬥爭，奪取了該縣民團的團總職務。把一個本來反動的民團，改造為黨掌握的一支武裝力量。從1929年到1931年期間，劉誌丹、謝子長利用各種關係，還先後打入陝甘邊界一些軍閥部隊和民團進行兵運活動。
劉誌丹在兵運中，出生入死，累建奇功，成為傳奇式的英雄人物。但他認為這並不是根本辦法。他說：“利用軍閥是暫時的，利用軍閥以公開名義是搞不成的，準備好了條件，我們就單獨去搞。”
“九·一八”事變後，全國抗日救亡運動高漲。根據省委指示，劉誌丹領導的部隊與楊春遠、師諸傑、楊琪等領導的部隊會合，改名為西北反帝同盟軍，謝子長任總指揮，劉誌丹任副總指揮兼第二支隊隊長。1932年2月14日，西北反帝同盟軍改編為中國工農紅軍陝甘遊擊隊。謝子長任總指揮。5月，劉誌丹為總指揮。他指揮遊擊隊積極發展遊擊戰爭，開辟了以旬邑、正寧為中心的遊擊根據地。
1932年12月24日，經整編的遊擊隊正式組成紅二十六軍。當時，任二十六軍政委的中央特派員，執行王明左傾錯誤政策，指責劉誌丹、謝子長等人為“遊擊主義”、“右傾機會主義”，剝奪了他們的指揮權，致使部隊被敵人前堵後追，全被衝散。
1933年夏天，王泰吉率領耀縣起義軍餘部，陳學鼎、張幫英帶領耀縣遊擊隊，先後進入照金根據地，8月中旬成立了陝甘邊紅軍臨時總指揮部。10月，劉誌丹由南山脫險回到照金，即被任命為副總指揮兼參謀長。次年1月，劉誌丹任紅二十六軍四十二師師長，同年秋任陝甘邊革命軍事委員會主席。他還出任軍政幹校校長，分批訓練各級幹部和戰鬥骨幹。
劉誌丹總結以往經驗，認識到根據地應同時成立幾個，以互相支援，粉碎敵人進攻，促進革命發展。他提出“狡兔三窟”的設想，擬建立陝北、隴東、關中三個遊擊根據地，以南梁為中心，紅二十六軍居中策應。此後，紅二十六軍在劉誌丹的領導下不斷發展，逐漸開創出陝甘革命根據地。
1934年2月，陝甘寧三省的國民黨軍隊，對陝甘根據地和紅二十六軍發動了第一次反革命“圍剿”。敵十倍於我，形勢異常緊張。劉誌丹指揮紅二十六軍主力，在地方遊擊隊的配合下，采取避強打弱的戰術，尋機殲敵，九戰九捷。至11月，粉碎了敵人對陝甘邊區的“圍剿”，紅二十六軍發展到五個團，開辟了十多個縣的根據地，正式成立陝甘邊工農民主政府。