红七军建立后，担任军长的张云逸，精心组织部队整训，他经常深入部队了解情况和指导工作，亲自到军教导大队和右江特委举办的右江党政干部训练班讲课。红七军经过半年左右的整训，士兵觉悟有了明显提高，党的工作也有了相当坚实的基础，军政素质明显提高，并组建了第4纵队。红七军兵强马壮，总人数迅速达到7000余人，成为全国瞩目的一支红军劲旅。
红七军的发展壮大及右江革命根据地的蓬勃发展，使广西的反动派惊恐万状。桂系军阀头目李宗仁、白崇禧经过密谋策划，于1930年2、3月间，调集大批反动军队向左右江地区发动猖狂的进攻，妄图把革命军队和新生的红色政权扼杀在摇篮里。为了避开敌人主力的锋芒和在游击战争中消灭敌人、武装自己，张云逸率红七军主力到广西、贵州边境开展游击战争，5月份再次回师百色。
正在这一时期，由于受“立三路线”的影响，当时的党中央推行脱离实际的“左”倾路线，提出要争取一省或数省首先胜利的思想，强令各地红军执行冒险计划，中央交给红七军的任务是打下柳州、桂林，在广东的小北江建立革命根据地，阻止两广军阀向北增援，最后夺取广州以保证全国红军首先夺取武汉的胜利。根据中央给红七军的命令，张云逸、邓小平率部于9月20日离开右江向河池开拔。
1930年11月7日各部队陆续到达河池，在这里红七军召开了第一次党代大会，会议通过了执行中央命令的决议，提出了“打到柳州去”、“打到桂林去”、“打到广州去”的口号。会后全军整编为3个师，分别编为第19、20、21师，其中21师仅授番号，由师长韦拔群回右江组建，会议决定仍由张云逸任军长、邓小平任政委、李明瑞任总指挥。随之，张云逸、邓小平等率领红七军主力第19、20两个师，浩浩荡荡地踏上了艰苦的征途。
红七军全体将士从河池出发以来，革命热情很高，斗志旺盛，他们作战勇敢，不避艰险，东进宜山，折向罗城，血战四把圩，围攻长安镇，勇扑武冈城，转战桂黔湘三省边，历时两个月，先后损失3000余人，英勇善战的红七军将士血染沙场，却连一个小城市也没有打下来，这是为什么？张云逸和邓小平陷入了苦苦的思考，内心十分焦急痛苦。尤其是红七军在攻打武岗的战斗中，由于城墙太高，我军缺乏攻城器材，敌人凭借有利的地形顽强死守，连日攻城不下，张云逸根据形势，只得决定放弃攻城计划，迅速撤出战斗，带领部队转移，才转危为安而不至于全军覆没。
1931年2月，张云逸军长在十分艰难的条件下，带领部队向江西苏区前进。这时，敌人对我军的堵截和追击有增无减。部队每天在翻山越岭和频繁的战斗中度过。为了战胜敌人的围追堵截，把部队带到中央苏区同毛泽东、朱德领导的中央红军会合，张云逸废寝忘食，呕心沥血。3月下旬，红七军到达永新城。这里是湘赣革命根据地的中心，建立了巩固的工农民主政权，中共湘赣省委就设在这里。4月底，红七军在永新召开了第二次党代表大会，张云逸带病主持会议并作总结报告，清算了“左”倾路线对红七军的危害，改选了军前委。随后，红七军在张云逸领导下，首先攻下安福县城，接着，与兄弟部队紧密配合，连克茶陵、安仁、遂川等县，连战皆捷，有力地配合了中央红军取得第2次反“围剿”的胜利，扩大了湘赣革命根据地。7月11日，红七军奉命东渡赣江到达江西于都县桥头镇与红三军团会师，从此红七军成为中央红军的组成部分。不久，张云逸和李明瑞赴瑞金参加军事会议，受到毛泽东和朱德等领导人的亲切接见。中央革命军事委员会对红七军的战绩和革命精神给予高度的评价，特授给“转战千里”的大红锦旗。
在张云逸的军事生涯中，最为光辉的一页就是上述百色起义之后，他和邓小平、李明瑞带领红七军千里征战，历尽艰辛奔赴中央苏区，那简直是一次微型的长征。