1931年春，誌丹奉命二次打入蘇雨生部，任某團團長，駐守旬邑職田鎮，伺機起義，不慎暴露，被當地豪紳告發，劉誌丹被捕入獄。同年4月經組織營救出獄。5月又打入平涼甘軍新編13師陳珪璋部。陳十分欽佩劉誌丹，劉誌丹也利用陳對自己的信任，借機以陳的名義在橋山南端的寧縣新組建一個旅，號稱11旅，自任旅長，人槍300餘，並不斷擴軍練兵，吸收當地老百姓加入11旅，還在11旅秘密地發展黨團員。陝西省委策動甘軍5個旅舉行兵變，11旅與陳部發生火並而被打散，劉誌丹回到南梁集合起失散的戰士，並找到趙二娃，與趙二娃招集的人馬合兵一處，隊伍發展到400餘人。
劉誌丹在陳珪璋部搞兵運，與陳部2旅旅長劉寶堂建立了深厚的友誼。在劉誌丹的幫助和影響下，劉寶堂十分擁護共產黨的革命，並對劉誌丹、謝子長的革命活動經常給予物資方麵的援助，多次保護我革命同誌脫離險境，為革命做了大量的工作。誌丹縣境內金鼎、旦八、永寧三山寨都駐守著國民黨的地方民團，永寧山寨民團被劉誌丹改造成一支革命的武裝力量，旦八、金鼎寨子上的民團在劉誌丹兵運活動的影響下，不與革命為敵，還對劉誌丹革命活動予以大量的幫助。有民謠為證：“旦八寨子兩尖，東臨洛河西靠山，南北懸崖獸無路，易守難攻穩如磐，紅軍裏頭有好漢，半夜爬上劉約三，八馱物資走南梁，支援革命做貢獻。”
3.堅持匪運工作，改造哥老會，收編山大王
1930年春，劉誌丹在永寧山的王莊、經永寧馬頭山哥老會龍頭大爺馬海旺等人介紹入了哥老會，被稱為“西北堂劉大爺”。劉誌丹加入哥老會，目的不是當哥老會的堂大爺，而是要改造哥老會，要把這支參與人數多，能打能鬥，能吃苦，勢力較大的民間非法組織改造過來為我所用。劉誌丹知道，民間哥老會成員大部分都是窮苦的老百姓，他們大多是被社會和生活所迫，才闖蕩江湖。哥老會實行的是江湖規矩，組織活動也極為嚴格詭秘。“不入虎穴，焉得虎子”，劉誌丹加入哥老會後，利用堂大爺的身份，先爭取大爺夥，後爭取兄弟夥，宣傳革命的道理和理想，說服教育他們走上革命道路。鑒於民間哥老會組織是窮苦老百姓的群眾道會組織，性質並不十分反動，所以劉誌丹對陝甘寧地區哥老會組織的改造方針是：擁護革命，不改變組織，協同作戰，一致抗日。
在劉誌丹的教育和影響下，陝甘寧地區的哥老會組織積極擁護中國共產黨的革命主張，哥老會成員紛紛踴躍參加革命。1930年春天，保安縣（1936年改為誌丹縣）的哥老會行衣大爺馬錫五帶領數十名哥老會成員投奔劉誌丹，參加了革命，1935年加入了中國共產黨，1936年5月任陝甘寧省蘇維埃主席，建國後曾任全國最高人民法院副院長；子長縣哥老會的龍頭大爺李仲英率所管轄的哥老會成員百餘名參加了革命，後來任紅29軍軍長；甘肅省華池縣哥老會大爺鄭海旺，跟隨紅軍參加當地打土豪分田地鬥爭；誌丹縣哥老會龍頭大爺馬海旺組織自己轄區內的哥老會成員為紅軍通風報信，他把自己的家變成劉誌丹的兵站，為紅軍轉運物資，養護傷病員。1934年，謝子長曾在馬海旺家養傷十餘日。馬海旺還主動為紅軍籌糧籌款，利用哥老會的關係親自到延安為劉誌丹購買槍支彈藥，對劉誌丹的革命活動給予很大支持。在邊區大生產運動中，馬海旺被評為陝甘寧邊區的勞動模範，成為全國進步哥老會組織的副主任。
由於劉誌丹的影響和努力，陝甘寧蘇區的民間哥老會組織為中國革命作出了巨大貢獻。1935年10月，中共中央長征到達陝北以後，對劉誌丹重視改造哥老會的工作予以肯定。1936年8月19日，中共中央在誌丹縣永寧馬頭山召開了全國哥老會代表會議，正式成立了中華江湖抗日救國會。
劉誌丹改造哥老會的同時，也注重對占山為王的非法武裝——土匪，進行教育改造和收編。對待土匪，他製定了“三大政策”：一是對有政治背景的土匪堅決徹底消滅；二是對群眾痛恨又無法爭取的慣匪，也予以徹底消滅；三是對窮苦出身的，也做了錯事、壞事，可以爭取的，要采取一切辦法爭取改造他們，人槍一同收編，變成堅強的革命力量。1930年，劉誌丹在陝甘邊界先後遇到逃荒討飯、落草為寇的賈生財和生意本錢被賊寇打劫、無奈進入匪寨的楊丕盛。二人經過劉誌丹的說服教育，棄暗投明，跟上劉誌丹走上革命的道路。郭寶珊在黃龍山上籠絡了數百名弟兄，占山為王，打家劫舍，也打富濟貧。經過了解，劉誌丹知道郭寶珊出身貧寒，雖入黑道，但良心尚未泯滅。經過反複多次的教育幫助，終於說服了郭寶珊率部投誠，參加了紅軍，建國後任青海省軍區副司令員，被授予少將軍銜。
@@三、“三色論”的辯證關係
劉誌丹的“三色論”是基於對中國社會和中國革命的深刻認識基礎上提出來的，在創建陝甘寧根據地的長期革命鬥爭中得到了創造性的運用。“三色論”中“紅色”（發展革命武裝）、“白色”（做白軍工作）、“灰色”（做土匪和哥老會的工作），在革命的鬥爭實踐中，三者之間始終體現著有主有從，有協作，有利用，相互依賴，相互聯係，對陝北革命起到了重要的指導作用。
1.主和從的關係
劉誌丹自投身革命以來，對發動群眾，建立革命的紅色武裝尤其重視。他深知隻有用革命的武裝，才能消滅反革命的武裝，才能推翻黑暗的舊社會。1925年秋，劉誌丹受黨組織派遣，棄筆從戎，赴黃埔軍校學習軍事，黃埔畢業，於1928年組織領導渭華起義，起義失敗後，他又奔赴在陝西、甘肅、寧夏的廣大地區，宣傳革命思想，動員和組織群眾參加革命，同時還打入國民黨部隊、地方軍閥和民團內部，從事兵運活動。劉誌丹就是想通過發動人民群眾和武裝起義來組織一支革命的武裝力量。1930年，劉誌丹在陝甘邊界組建起一支陝甘邊遊擊隊（南梁遊擊隊），人槍300餘。遊擊隊在武裝鬥爭中不斷發展壯大。1931年10月遊擊隊改編為西北反帝同盟軍，1932年2月改編為中國工農紅軍陝甘遊擊隊，1932年12月正式改編為中國工農紅軍第26軍。劉誌丹在創建紅26軍過程中，傾注了大量的心血，廣泛深入地宣傳動員群眾，出生入死的兵運活動，經曆了70餘次失敗的考驗，多次戰勝黨內“左”傾錯誤思想的幹擾和破壞，三次粉碎國民黨的重兵“圍剿”。他始終把發展壯大革命的武裝力量放在重要位置。做白軍的工作和土匪的工作，雖然一絲不苟，但都是服從於組建革命的武裝力量這個主要目的和大方向。劉誌丹對待白軍和土匪也是有原則的，不是一概反對，也不是一概接受，而是堅持實事求是的原則，根據情況，對白軍中那些思想較為進步有正義感和愛國的可爭取的，一定要爭取過來。爭取過來了，我們就少一個敵人，多一個朋友，多一份力量，而敵人就會減少一份力量。對待土匪也是這樣，對那些有社會背景，無惡不作，十惡不赦，頑固不化的慣匪，則予以堅決打擊，徹底消滅。對那些出身貧寒，因社會和生活所迫落草為寇、占山為王的土匪則進行耐心的說服教育，爭取他們改邪歸正，加入到革命的隊伍中來。所以，在“三色論”中，“紅色”始終占主導地位，而“白色”和“灰色”隻服從於“紅色”。
2.相互配合和利用的關係
“三色論”中“紅色”、“白色”、“灰色”在長期的革命鬥爭中，三者之間的相互配合和利用也體現得十分明顯和具體。劉誌丹在改造哥老會的過程中，首先利用關係打入哥老會內部，並當了堂大爺。哥老會組織雖然不是共產黨領導的革命組織，但是它的成員大都是窮苦的老百姓。它有非革命的一麵，也有革命的一麵。隻要有革命的一麵，就有利用的價值和可能。針對哥老會的實際情況，劉誌丹提出了具體可行的改造方針，即：擁護革命，不改變組織，協同作戰，一致抗日。這個改造方針既尊重了對方，又堅持了原則。原則就是要擁護革命，反對共同的敵人，能協同作戰。這樣協作利用就成了改造的目的。隻要為我所利用，改造團結就是成功的。
劉誌丹的兵運活動，做白軍工作，爭取國民黨軍隊裏的進步分子和愛國人士，同樣也是爭取團結的方式，達到利用的目的。當然團結敵人隊伍裏的人是有條件的，執迷不悟、反動透頂、死心塌地與人民為敵的不可團結，而要堅決予以打擊和消滅。對國家對人民尚有愛心和良心的有必要團結就必須積極去爭取。這種團結同時可以產生三種效果，一是可以爭取和幫助對方為革命做一些有益的工作，也可以使對方棄暗投明，走上革命的道路；二是可以分化瓦解敵人內部；三是可以鬆懈麻痹對方。所以，做白軍工作不隻是戰術上的要求，而且具有長遠的戰略意義。“三色論”中“紅色”體現了堅持共產黨領導下發展紅軍的獨立性；“白色”體現了堅持從大局出發既聯合又鬥爭的策略性；“灰色”體現了堅持團結、求同存異的靈活性。在強大的敵人麵前，革命的力量還顯得弱小，還不能靠自己的力量去戰勝敵人的時候；當革命還處在困難時期，革命所需要的物質條件還十分短缺的情況下，團結利用一切可以團結和利用的社會力量，包括哥老會和土匪，也包括國民黨部隊裏的進步和愛國人士，爭取他們為革命做一點貢獻，提供一點幫助或爭取他們成為革命的一分子，這是十分必要的，也是非常正確的，這完全符合當時中國社會和中國革命的實情。成功的曆史經驗告訴人們，劉誌丹的“三色論”與馬克思列寧主義是一致的，他透著強烈的辯證唯物主義和曆史唯物主義的光芒，他為中國共產黨的統一戰線提供了寶貴的曆史經驗和豐富的思想內容。