日本帝国主义发动“九·一八”事变进而建立伪满洲国之后，加紧了对内蒙古地区亲日派的策动和扶植，对内蒙古地区采取公开的军事占领与隐蔽的政治阴谋同时并进的政策，为其全面发动侵华战争作准备。在这样的历史紧要关头，乌兰夫领导发动了百灵庙武装暴动，举起了内蒙古人民抗日救亡的义旗，沉重地打击了日本帝国主义推行“征服中国必先征服满蒙”的罪恶企图。由此，百灵庙这个名不见经传的草原小镇，一夜之间闻名遐迩，鼓舞了全国人民御侮救亡的斗志。正如毛泽东所评价的，这是“可贵的草原抗日第一枪。”
百灵庙位于达尔罕境内，别称贝勒庙，这一带山环水绕，却连接着两条重要的通道，一条连接着内蒙古和外蒙古，一条连接着内蒙古的东部和西部。1931年秋，中共中央派遣王若飞秘密来到内蒙古，根据中央的指示，王若飞的任务是同西蒙工委书记乌兰夫取得联系，选派优秀青年去苏联学习军事，同时在军队宣传党的方针和主张，开展陕甘宁绥一带的武装斗争。
化装成商人的王若飞，辗转来到内蒙，迅速与乌兰夫取得了联系。乌兰夫向王若飞汇报了内蒙古地区党组织和工作开展情况，听取了王若飞传达党对内蒙古地区工作的指示和要求，中央强调当前要着重抓好内蒙古地区的武装斗争。从那时起，乌兰夫除从事党的民族工作、群众运动外，以主要精力组织开展武装斗争。为了组织和加强抗日武装部队，培养党的骨干力量开展并坚持斗争，乌兰夫经张家口同盟军第41军政治部副主任罗念冰（中共党员）介绍，到41军驻包头的部队举办了干部训练班，培养政治工作干部。
王若飞在内蒙古地区的活动引起了国民党军警的警觉，他在包头不幸被捕，乌兰夫的处境更加危险。所幸的是，乌兰夫几次遇到敌人追捕，都因为他的机智、高度警惕性和群众的帮助化险为夷。此时的乌兰夫身兼重任，多方设法营救王若飞，恢复内蒙古地下党的工作，积极打通连接中国北部、外蒙古到莫斯科的通道。这条通道对于中共和第三国际的联系至关重要，刚从苏联回国的几年，乌兰夫每年都要沿这条通道去蒙古首都乌兰巴托向第三国际东方支部汇报工作。当时的交通条件极差，工作又是秘密进行的，两三千里的行程，他只能和拉骆驼的人一块儿走，来回要走两三个月。一路上翻山越岭，穿过荒无人烟的戈壁滩，走过一望无际的大草原，工作非常艰苦。
1932年，内蒙古最有实力的王公德王，为了扩充自己的力量，想成立蒙旗保安队，需要招募大批有才干的蒙古族青年做军事教官。乌兰夫借机把一批地下党员和进步青年陆续送进了德王的蒙旗保安队，这批人后来成为百灵庙抗日暴动的骨干，由此播下了抗日的种子。
德王为了谋求更大的权力，在百灵庙成立了“蒙古地方自治政务委员会”，日本侵略者为了推行“满蒙计划”，派特务头子土肥原贤二乘专机飞往百灵庙对德王进行游说，双方一拍即合。正在察哈尔抗日同盟军办干部训练班的乌兰夫，看到局势十分危急，必须作好应变准备，立即请示中央，准备发动武装起义。与此同时，乌兰夫向军队中的地下党员下达了西蒙工委的指示：作好武装起义的一切准备。
1936年2月18日，在日本人的蛊惑煽动下，德王改元易帜，成立“蒙古军司令部”，自任总司令，设日本顾问部，公开叛国降日。更为危急的是，德王已经觉察蒙旗保安队的异常情况，收缴了蒙旗保安队的武器，并决定将该部队并入蒙古军中。消息传来，蒙旗保安队的爱国官兵群情激奋，人心动荡，在来不及通知乌兰夫的情况下，决定提前发起武装暴动。1936年2月21日晚22时整，震惊全国的百灵庙暴动的枪声打响了，起义部队向傅作义将军发了电报，告知了起义的事实。傅作义虽然是主张抗日的国民党将领，但对这支积极抗日的蒙古族军队缺乏了解，并且认为有着共产党的背景，派出两个武装加强营以“慰问”暴动官兵为名，解除了起义部队的武装。起义队伍处于艰难境地，面临着被瓦解的危险。在此危机之际，乌兰夫发动归绥的社会力量声援暴动官兵，并受命率领部分中共党员进入这支部队，把这支抗日的爱国队伍保护下来。
乌兰夫等组织发动的百灵庙抗日武装暴动，打击了蒙古族上层卖国分子，打乱了日军利用蒙奸西进的部署，振奋了内蒙古人民的抗日精神。1937年，在国共两党为抗日而酝酿合作的条件下，经乌兰夫等人的多方努力，国民党政府终于同意把这支部队改编为蒙旗保安总队，不久又改编为蒙旗独立旅，乌兰夫担任政治部代理副主任。乌兰夫利用蒙旗保安旅组建的机会，在保安旅内建立党委会，担任党委书记，秘密开展党的工作，保证了这支蒙古族武装力量执行团结抗日的政治路线。
1937年10月，日军进犯归绥，当地驻军不战而退，唯有蒙旗独立旅从固阳星驰至归绥南郊，与日军血战一昼夜，给敌人重创。战斗中，乌兰夫率部在归绥阻击日军进犯，他亲临前线，指挥作战，与官兵同仇敌忾，英勇抗击了日本侵略军。继而转战神木、府谷地区，与中共中央取得联系，后奉命扼守伊克昭盟，堵击日伪军南渡黄河，并同国民党顽固派军队进行斗争。1938年4月，乌兰夫任中共绥蒙工委委员，蒙旗独立旅改为国民革命军新编第3师后，他担任政治部代理主任、地下党委书记，按八路军建制在部队建立了一整套政治工作制度，使这支部队在极困难的条件下，长期坚持鄂尔多斯高原的抗日斗争。乌兰夫还在第3师驻地积极训练民兵，建立武工队，组织宣传队，开办学校，开展抗日民族统一战线工作。