张云逸等率红七军进入中央苏区之后，红七军编入红三军团，张云逸任红七军参谋长，在龙冈战斗中，配合其他部队全歼国民党第52师。1933年5月，张云逸被任命为中国工农红军副参谋长，第5次反“围剿”失败后，随中央红军参加了长征。长征途中，他协助刘伯承参谋长组织战斗，突破乌江天险，勇渡大渡河，爬雪山，过草地，与张国焘的分裂活动作斗争，行程二万五千里，终于在1935年10月胜利到达陕甘革命根据地。
1937年5月，张云逸受党中央委派，从陕北出发前往华南各省开展抗日统一战线工作。张云逸曾率红七军转战广西，对广西的情况比较熟悉，他绕道香港转赴桂林，首先做地方实力派桂系的工作，督促李宗仁、白崇禧出兵抗日，受到与蒋介石有矛盾的桂系首领李宗仁的重视。在广西，张云逸耐心宣传党的抗日主张，劝诫地方实力派人物，在此民族危亡关头，要团结一致共同抗日，共谋发展。张云逸态度诚恳，处处以民族大义为重，体现了党的统一战线政策，又避免了刺激一些实权人物，使得四川军阀刘湘也派出代表找张云逸联络共同抗日之事。经过张云逸的工作，与桂系及四川方面的代表共同拟制了抗日民主纲领草案，他还到广州与余汉谋多次谈判，直到余汉谋同意国共合作抗日，并在广州建立了八路军办事处。
1937年10月，根据党中央的指示，张云逸与叶挺一起筹建新四军。新四军正式成立后，张云逸担任参谋长、第3支队司令员，协助军长叶挺开展统一战线工作。当时，第5次反“围剿”失败之后，红军主力被迫长征，担任掩护任务的部队和伤员留在了华南地区，他们在极其艰苦的环境中坚持游击战争。为了把分散各地的游击队聚拢起来，张云逸与华南地区各国民党当局进行了艰苦谈判，与国民党地方当局进行交涉，然后又入深山寻找自己的同志，使长期与中央失去联系的游击队重新集结。在游击队的转移、集结过程中，为防止遭受国民党顽固派及地主反动武装的袭击，张云逸精心组织，妥善安排。他一边寻找游击力量，一边与国民党反动派进行有理、有利、有节的斗争。同时教育失散各地的游击队员要顾全大局，既要同国民党合作抗日，又要认清国民党的阶级本质，对它可能采取的各种阴谋手段，保持高度警惕。经过张云逸的艰苦努力，顺利完成了闽粤地区红军游击队的转移和集结，把分散各处的游击力量组成了一支强有力的抗日队伍。
新四军的队伍建设初具规模后，张云逸贯彻中共中央关于放手江北，开展独立自主的游击战争的指示，他根据战局的实际，提出新四军东进皖东的主张，得到毛泽东的首肯。1939年5月5日，成立新四军江北指挥部，张云逸任总指挥，统辖江北新四军和游击队等地方武装力量。
1939年底，蒋介石在全国掀起了又一轮反共高潮。国民党反动派不仅在军事上制造障碍，还采取了许多卑鄙下流的手段疯狂反共。1940年3月，顽军颜仁毅纠集反动武装向新四军江北指挥部发起进攻。张云逸率领江北指挥部各路人马分头反击，迫使颜仁毅率主力回援，被我军消灭大半。顽军李本一部也来窜犯，被张云逸指挥第7团击溃，主力丧尽。几次战斗之后，反摩擦大获全胜。歼敌数千人，俘敌数百人，扩大了根据地，打掉了国民党顽固派的嚣张气焰。
1941年1月“皖南事变”后，日伪利用蒋介石全力反共之际，集中5个师团以上的兵力，发动了豫南战役。张云逸敏锐地发现形势发生了变化，提出利用蒋、桂之间的不合，敦促桂系停止与新四军的磨擦，一致对外。在征得中央同意后，他以个人名义通过香港和李宗仁、白崇禧取得联系，对其开展统战工作。不久，桂系军队相继撤退，新四军又修复了原有阵地。张云逸反对顽固派掌握了有理、有利、有节的政策，得到了毛泽东的肯定和赞扬。毛泽东把他在这场斗争中显示出来的高超艺术誉为统一战线中坚持独立自主原则的范例，说：“张云逸不战而屈人之兵，善之善哉！不愧为将才！”后来，毛泽东还曾这样说过：“我党能对国民党将领说话的人不多，张云逸是其一。”对于这一时期张云逸卓有成效的统战工作，陈毅曾如此评价：“从统战战场到抗战战场，张老都是功在我党。”