1927年9月26日，陝西省委舉行擴大會議，傳達貫徹中央“八七會議”精神。大會糾正了陝西黨組織內的右傾機會主義錯誤，決定實行策略上的轉變，並通過了農民鬥爭和軍事運動等九項決議案。為組織武裝起義，劉誌丹化名劉金美，與唐澍、謝子長等先後被派往洛南三要司許權中新編第三旅。該旅是按照鄧小平的意見，由西安中山軍政學校的學生、投奔革命的進步青年和北伐軍保衛團共1500多人組成的。大革命失敗後，為貫徹省委“找主求生”的指示，共產黨員許權中，以武力迫使陝西軍閥嶽西峰部師長馮子明議和，承認建製，並供給糧餉，編為補充旅，由許權中擔任旅長。劉誌丹等到達後，根據省委指示，立即組建該旅黨委，劉誌丹任黨委書記，許權中、唐澍為委員，秘密準備發動起義。
4月中旬，省委指示許旅立即開往華縣高塘原，配合那裏的農民暴動，組織起義。在三旅黨委會上，許權中提出：渭華地區地麵狹窄，秦嶺山區人煙稀少、物資缺乏，雖有群眾基礎，糧食豐富，但距公路太近，因此渭華不是起義的理想地區，主張部隊向地勢複雜、有回旋餘地的陝北轉移。此時的劉誌丹還沒有能力對這個重大的戰略方向問題作出準確的判斷，但他知道黨的指示是不能違背的，所以斷然拒絕了許權中的合理建議。劉誌丹親自到前沿陣地通知部隊，次日深夜向高塘原進發。在高塘原，按省委決定，全軍編為4個大隊，改稱西北工農革命軍，成立了軍事委員會，劉誌丹任主席，唐澍任總司令，許權中任顧問。
4月27日，高塘原舉行盛況空前的軍民聯歡大會，會場上飄揚著鐮刀斧頭的革命紅旗。劉誌丹、唐澍在會上號召群眾起來舉行武裝起義，發布了“西北工農革命軍總司令部布告”。布告以通俗易懂的語言說明了社會上貧富不均的原因，指出大家隻有起來“打倒貪官汙吏”！“建立蘇維埃政權”，才能“過上好光景”。
5月1日，在渭南縣崇凝鎮的群眾大會上，陝西省第一個革命政權——崇凝區工農民主政府誕生了！接著，高塘原50多個村子，也陸續建立了工農政權。革命軍所到之處，在赤衛隊員的幫助下，解放了的廣大群眾，以高昂的鬥誌打土豪、殺劣紳、挖陳糧、毀契約，甚至在渭華公路沿線截斷電杆、破壞交通、擊毀軍車、奪取物資，到處紅旗飄飄，熱氣騰騰。
但是，由於渭華地區是豫陝交通要道，革命力量在這裏發展，必然招致敵人瘋狂的鎮壓。從5月上旬到6月下旬，敵人調集重兵連續發動三次進攻。劉誌丹、唐澍、許權中、王吉泰等，雖都身先士卒，親臨前線與敵浴血奮戰，但終因寡不敵眾，在取得一些小勝之後，整個起義宣告失敗。部隊隻剩下200多人，其中還有很多是傷病員。不少優秀的領導幹部壯烈犧牲，唐澍的頭還被敵人掛在洛南縣城樓上示眾。看到曆盡千辛萬苦創建的這支革命武裝遭到這樣慘重的損失，劉誌丹痛苦萬分。
7月初，劉誌丹主持召開軍事會議，以對黨高度負責的態度，深刻地作了自我檢討，把起義失敗的原因歸結為：光杆鬥爭，軍事冒險，脫離群眾，燒殺政策。並主動提議將剩餘部隊仍交還許權中領導。
1928年7、8月間，劉誌丹等人化裝潛回西安，向省委彙報了渭華起義的經過和失敗的經驗教訓。同年秋，省委派劉誌丹和謝子長等北返，劉誌丹任中共陝北特委軍事委員會書記。劉誌丹在經過家鄉保安時，曾和當年榆中同學、保安縣黨組織負責人王子宜及皖北暴動失敗後回到家鄉鬧革命的曹力如一起，整頓地方黨的組織。他們利用縣教育局的局長是共產黨員這一便利條件，將一批黨員和進步人士安排到全縣7所小學工作，以此為立足點，進行革命活動。
1928年冬，劉誌丹到達陝北特委所在地——榆林，負責特委工作。特委書記楊國棟懾於國民黨反動派的白色恐怖，主張隻做點宣傳工作，不進行武裝鬥爭，甚至荒謬地提出要黨組織暫時停止活動。劉誌丹和特委其他人一起，同這種右傾錯誤進行了堅決的鬥爭。在劉誌丹等的推動下，中共陝北特委第一次擴大會議作出了加強軍事活動，在地方軍閥部隊中開展兵運工作的決議。
1929年春，劉誌丹返回保安，根據陝北特委的決議，開始以主要精力開展兵運活動。當時，保安民團團總路仰之橫行鄉裏，群眾恨之入骨，縣長及地方一些士紳與路也矛盾重重。劉誌丹和王子宜、曹力如一方麵分頭聯絡士紳們，爭取他們支持對路仰之部隊的改造，一方麵揭露路仰之欺壓老百姓的罪行，號召群眾到縣長那裏告狀，要求改選團總，縣長迫於四方壓力隻好答應改選。劉誌丹、曹力如順利當選為正副團總。
路仰之不死心，又收買了一部分人鬧事，企圖阻撓劉誌丹上任。黨組織又及時發動廣大團丁進行抗爭，結果把路仰之煞費苦心安排的阻撓劉誌丹等上任的示威，變成了歡迎儀式，鬥爭取得了完全的勝利。劉誌丹擔任團總後，立即整頓民團，廢除打罵舊習，改善士兵生活，加強政治教育，建立團內黨組織，把一個本來反動的民團，改造成為一個為革命所用的武裝力量。不久，敵人進行反撲，劉誌丹被迫離開民團，留下一些人繼續堅持秘密鬥爭。