1929年5月蒋桂战争结束后，主政广西的省政府主席俞作柏、军事特派员兼绥靖公署主任李明瑞，为了巩固其在广西的地位，愿意与共产党合作。中共中央决定抓住这一有利时机，派一批同志进入广西开展革命工作，同俞作柏、李明瑞建立了较密切的合作关系。中央原来准备要张云逸去苏联学习，现在因为斗争的需要，决定派他去广西工作，在组织上征求他的意见时。张云逸爽快地回答：“我完全服从党组织的决定，什么时候动身？”
根据上级指示，1929年7月张云逸到了南宁，他首先面见俞作柏，并且很快就在俞作柏、李明瑞的军队中找到了立足点，迅速跟当时的党组织接上了关系。在这期间，先后到达广西的共产党员还有叶季壮、陈豪人、李谦等。
张云逸经党组织活动，担任了广西教导总队的负责人，不久又兼任了广西警备第4大队的大队长。教导总队建制共有3个营9个连，营长都是思想反动的旧军官。广西警备第4大队是李明瑞回广西后收容土匪、民团、散兵游勇编成的队伍，成分复杂，纪律涣散，思想基础很差。张云逸首先从掌握部队的领导权入手，安排共产党员在这两支队伍中担任连以上领导职务，排长也由思想比较进步的学员担任，与此同时，张云逸在各连建立了党的秘密支部，使党组织成为各连的秘密领导核心，从而牢牢掌握了这两支部队的领导权。
9月29日，俞作柏、李明瑞不听我党劝告，在其执政广西的地位尚未稳固的情况下，发出反蒋通电，10月1日在南宁召开反蒋誓师大会，率领军队进攻亲蒋的广东军阀陈济棠。他们的反蒋前后只经过十几天即宣告失败。蒋介石下令免去俞作柏、李明瑞的职务，分别由吕焕炎、杨腾辉担任。俞作柏经过越南逃往香港。
为了保存革命力量，张云逸和教导总队的其他党的负责人决定采取紧急措施，迅速挺进右江。10月17日，按照中共中央代表邓小平的指示，张云逸带领广西警备第4大队和教导队，携带南宁军械库的枪炮弹药等军用物资从南宁开往右江，22日到达右江重镇百色，准备筹划武装起义。
右江地区地处广西西南边陲，北与贵州接界，西和西南面分别与云南省和法属殖民地越南毗连，地处偏僻、交通不便，经济落后，反动统治阶级力量比较薄弱，当地民众生活极端困苦，反抗斗争精神强烈。早在20年代初期，著名的农民运动领袖韦拔群便在右江的东兰、凤山等县领导各族贫苦农民开展反对豪绅地主的斗争，为右江地区各县培训了500多名农运骨干，传播了革命火种，右江地区的农民和工人武装力量已经有了较大的发展。
张云逸率部到达百色后，担任广西省警备第4大队大队长兼教导总队副主任，同时出任右江督办，接管地方政权，加紧整顿和改造军队，打击地方豪绅反动势力，消灭反动的广西警备第3大队，为起义扫清障碍，进一步宣传发动群众，使右江地区的革命热潮更加高涨。11月上旬，党中央批准了左右江地区举行武装起义的计划，张云逸担任武装起义总前委委员，邓小平为书记。
12月11日，在中央代表邓小平和张云逸、韦拔群等领导下，广西警备第4大队、教导队和右江农军在百色正式宣布起义，建立了一支以广西警备第4、第5大队和广西教导总队为底子、以左右江地区农民武装为主体的新型人民军队——中国红军第七军，张云逸为红七军军长，邓小平为政治委员。这一天，晴空万里，阳光灿烂。百色城里红旗招展，锣鼓喧天。早上，一面鲜艳的“中国工农红军第七军”的军旗在军部门前升起。驻百色的起义部队、工人、农民、教师、学生、商人和居民5000多人，在百色东门广场集合，举行中国工农红军第七军成立典礼，大会庄严宣告在中国共产党的领导下举行武装起义，这样，继南昌起义、秋收起义和广州起义之后，又一支党领导下的工农红军诞生了。
百色起义之后，党组织先后在20多个县建立了苏维埃政府或革命委员会，各县农军也改编为赤卫军，创建了一个拥有100多万人口、全国瞩目的左右江革命根据地，并在右江地区的东兰、风山、恩隆、奉议、果德等县乡村进行了土地革命工作。革命根据地的各项建设事业呈现一派生机勃勃的景象。