日本帝國主義發動“九·一八”事變進而建立偽滿洲國之後，加緊了對內蒙古地區親日派的策動和扶植，對內蒙古地區采取公開的軍事占領與隱蔽的政治陰謀同時並進的政策，為其全麵發動侵華戰爭作準備。在這樣的曆史緊要關頭，烏蘭夫領導發動了百靈廟武裝暴動，舉起了內蒙古人民抗日救亡的義旗，沉重地打擊了日本帝國主義推行“征服中國必先征服滿蒙”的罪惡企圖。由此，百靈廟這個名不見經傳的草原小鎮，一夜之間聞名遐邇，鼓舞了全國人民禦侮救亡的鬥誌。正如毛澤東所評價的，這是“可貴的草原抗日第一槍。”
百靈廟位於達爾罕境內，別稱貝勒廟，這一帶山環水繞，卻連接著兩條重要的通道，一條連接著內蒙古和外蒙古，一條連接著內蒙古的東部和西部。1931年秋，中共中央派遣王若飛秘密來到內蒙古，根據中央的指示，王若飛的任務是同西蒙工委書記烏蘭夫取得聯係，選派優秀青年去蘇聯學習軍事，同時在軍隊宣傳黨的方針和主張，開展陝甘寧綏一帶的武裝鬥爭。
化裝成商人的王若飛，輾轉來到內蒙，迅速與烏蘭夫取得了聯係。烏蘭夫向王若飛彙報了內蒙古地區黨組織和工作開展情況，聽取了王若飛傳達黨對內蒙古地區工作的指示和要求，中央強調當前要著重抓好內蒙古地區的武裝鬥爭。從那時起，烏蘭夫除從事黨的民族工作、群眾運動外，以主要精力組織開展武裝鬥爭。為了組織和加強抗日武裝部隊，培養黨的骨幹力量開展並堅持鬥爭，烏蘭夫經張家口同盟軍第41軍政治部副主任羅念冰（中共黨員）介紹，到41軍駐包頭的部隊舉辦了幹部訓練班，培養政治工作幹部。
王若飛在內蒙古地區的活動引起了國民黨軍警的警覺，他在包頭不幸被捕，烏蘭夫的處境更加危險。所幸的是，烏蘭夫幾次遇到敵人追捕，都因為他的機智、高度警惕性和群眾的幫助化險為夷。此時的烏蘭夫身兼重任，多方設法營救王若飛，恢複內蒙古地下黨的工作，積極打通連接中國北部、外蒙古到莫斯科的通道。這條通道對於中共和第三國際的聯係至關重要，剛從蘇聯回國的幾年，烏蘭夫每年都要沿這條通道去蒙古首都烏蘭巴托向第三國際東方支部彙報工作。當時的交通條件極差，工作又是秘密進行的，兩三千裏的行程，他隻能和拉駱駝的人一塊兒走，來回要走兩三個月。一路上翻山越嶺，穿過荒無人煙的戈壁灘，走過一望無際的大草原，工作非常艱苦。
1932年，內蒙古最有實力的王公德王，為了擴充自己的力量，想成立蒙旗保安隊，需要招募大批有才幹的蒙古族青年做軍事教官。烏蘭夫借機把一批地下黨員和進步青年陸續送進了德王的蒙旗保安隊，這批人後來成為百靈廟抗日暴動的骨幹，由此播下了抗日的種子。
德王為了謀求更大的權力，在百靈廟成立了“蒙古地方自治政務委員會”，日本侵略者為了推行“滿蒙計劃”，派特務頭子土肥原賢二乘專機飛往百靈廟對德王進行遊說，雙方一拍即合。正在察哈爾抗日同盟軍辦幹部訓練班的烏蘭夫，看到局勢十分危急，必須作好應變準備，立即請示中央，準備發動武裝起義。與此同時，烏蘭夫向軍隊中的地下黨員下達了西蒙工委的指示：作好武裝起義的一切準備。