渡河后，原准备向长宁集中，到宜宾附近北渡长江。但发现追敌已逼近川南，长江北岸也有重点把守，而红军此时落伍人数较多，亟待整编。2月7日杨尚昆、彭德怀向军委建议，进行部队整编，“在川黔建立根据地”。中央军委接受了彭杨建议，进行了整编军队，11日，红军掉头东进，挥师黔北，同黔军和尾追之敌中央军作战。此乃二渡赤水。
经过改编的红三军团奉命向桐梓进军途中，从俘虏的黔军那里得知，守备黔北门户娄山关的只有黔军的三个团，彭杨立刻向军委报告：“拟以迅速动作歼灭此敌”。当天午夜，朱德复电同意彭杨建议，下令“坚决消灭娄山关黔敌，乘胜夺取遵义城”，并授权“全军统归彭、杨指挥”。26日上午10时，红三军团攻占娄山关，守敌仓皇向遵义南逃。第二天凌晨，红三军团又不顾疲劳乘胜追击，直逼遵义城。28日晨，红军再占遵义。
这时，蒋介石急令吴奇伟纵队的两个师渡江北上，孤军驰援遵义，被红一、三两军团从两边一夹，一举歼灭其大半。遵义战役，在彭杨的指挥下三天内击溃了蒋军两个师，黔军8个团，缴获枪枝1000支以上，捉到2000多俘虏，这是中央红军长征开始以来取得的最大一次胜利。
红军重占遵义后，在重庆“督战的蒋介石判断红军将乘胜直奔乌江东岸，图与萧、贺合股”，于是蒋介石下令，严密封锁乌江，采用堡垒推进和重点进攻的战术，企图将红军围歼于遵义、鸭溪地区。面对如此严峻形势，毛泽东当机立断，3月16日指挥红军三渡赤水，重返川南的古蔺、叙永地区。这样又把50万敌军像牵牛一般从赤水河东牵向河西，星夜赶筑碉堡，企图在古蔺地区逼迫红军决战。出乎意外是20日晚，红军出敌不意，折而向东，闪电式地四渡赤水，5天之内，红军在赤水两岸高强度的运动战中，把敌军甩在赤水河西。
四渡赤水后，杨尚昆和彭德怀通过分析战场形势，向军委建议下一步应转向敌兵力空虚的“东南之乌江流域比较有利”。25日晚朱德总司令再次接受彭杨建议，并命彭杨指挥红一、三两军团迅速向乌江前进。当时正值清明时节，阴雨连绵，能见度极低，敌机无法侦察，一时摸不清红军行踪，30日我军先头部队在风雨呼啸中乘竹筏夜渡乌江，第二天大军过江，迅速向贵阳东北逼进。正在贵阳城内督战的蒋介石怎么也想不到，贵阳城外竟贴出红军的标语：“拿下贵阳城，活捉蒋介石!”
这时的贵阳城里守备防城的不足两个团，蒋介石惊慌失措，一方调整部署，力阻红军向东进与红二、六军团会合，一面急从云南调来3个旅前来支援。此时，毛泽东胸有成竹地说：“只要能将滇军调出来，就是胜利。”当即采取声东击西的战术，命令红三军团以一个团佯攻贵阳，迷惑敌人。当蒋军忙于部署兵力防堵红军东进时，主力红军却乘隙从贵阳、龙里之间穿越湘黔公路迅速南进。一时，在战场上出现了敌我双方背向进军的戏剧性画面。
4月13日，杨尚昆、彭德怀根据地形分析，致电中央军委“建议野战军以迅速渡过北盘江，袭取平彝(今富源)、盘县，求得在滇黔边与孙渡战。”中央军委第四次接受了彭杨的建议，它对于中央红军跳出敌军的围堵追截，实现北渡金沙江和红四方面军会合具有重要战略意义。
随后红三军团奉命，于5月9日在皎平渡口渡过金沙江，向川西南重镇会理进发，西进途中，蒋介石不断派飞机从中阻拦红军。4月25日，红三军团军团部遭敌机轰炸。杨尚昆隐蔽在一个深坑里，突然一声巨响，杨尚昆右腿的绑腿被打烂了，鲜血不停地渗出，身旁的两个侦察员都牺牲了。得知杨尚昆负伤后，彭德怀立即带着担架队赶来，将杨尚昆抬上担架。当天，一个俘虏过来的军医给杨尚昆开了刀，3块弹片，取出了2块，另一块很深，直到杨尚昆去世一直都留在了肌肉里，他受伤后仍坚持指挥战斗，还参加了在会理召开的政治局扩大会议。
红军胜利会师后，杨尚昆大是大非不含糊，坚决支持毛泽东的正确路线，同张国焘分裂活动作斗争，跟随毛泽东继续北上。
中央红军离开会理后，强渡大渡河，飞夺泸定桥。6月13日杨尚昆和彭德怀一起指挥部队，掩护中央红军主力翻越夹金山，于6月18日抵达懋功，实现了红一、四方面军的胜利会师。中央红军在毛泽东的英明指挥下克服错误思想影响，终于摆脱了敌人的追击，保存了红军，磨炼了红军。从此在杨尚昆后心目中，树立起一个坚定的信念：跟着毛主席就是胜利。
任红军陕甘支队政治部主任、红军总政治部副主任的杨尚昆。然而两军会师后，庆祝会师的热烈气氛还没有消散，张国焘的分裂野心却给红军内部带来一场政治风波。在这种灾难关头，杨尚昆旗帜鲜明地站在毛泽东一边，同张国焘的分裂主义进行了坚决的斗争。
张国焘率领的红四方面军号称10万人，实际战斗人员8万多人，他们是于1935年5月初撤离川陕革命根据地的，部队离开根据地才1个多月，打的仗不多，所以军容比较整齐，在三支红军中红四方面军队伍最大。杨尚昆说：“在党中央心目中，这支队伍是党的财富，但是，张却把它当作个人的资本。在他眼里，幸存的二万多中央红军是‘兵不像兵，马不像马’，所以他拥兵自重，后来甚至说：‘谁有军队，谁最强，谁领导’。”
6月26日，中央政治局在两河口召开会议，张国焘与中央之间的分歧明朗化。会上，多数人同意毛泽东的战略方针：两军在统一指挥下攻打刚到松潘的敌军胡宗南部，占取甘南，北上川陕甘建立根据地。这是一个发展革命的方针，张国焘却消极避战，坚持西进到川西和西康休养生息，他对中央军委攻打松潘的战斗部署置之不理。
会后，彭德怀、杨尚昆率红三军团首先向甘南进军。7月初，从驻地懋功出发7天内接连翻越雪峰连绵的4座雪山，到达黑水县的芦花，而张国焘却按兵不动。直到7月中旬，经党中央电催，才来到芦花。此时发动松潘战役已丧失了时机，在敌情发生变化的情况下，张国焘却以“提拔新干部”，解决统一指挥的“组织问题”为借口，步步紧逼，向党要权，同时对红一方面军的干部拉拉扯扯，杨尚昆便是他要拉拢的一个。
有一天，张国焘请杨尚昆叙旧。早在莫斯科时，张是中共驻莫斯科共产国际代表团的成员，杨就认识了张。回上海后，二人又在全国总工会工作，张是党团书记，杨是宣传部长，并且对外以表兄弟的关系相掩护。在杨的印象中，张爱摆老资格，听不得别人的意见。张请杨叙旧前，杨尚昆就知道张拉拢过彭德怀，但被拒绝。因而，杨尚昆对张是有警惕的。据杨尚昆讲：他(指张国焘)一见到我，就说“老杨呀，你是个文才，现在投笔从戎了，耍枪杆子，辛苦辛苦”。席间，张言不由衷，说话吞吞吐吐。杨尚昆心里明白，如果触及战略方针问题，张国焘必然会急不可耐的跳起来，弄得不欢而散，不如说东道西，各找各的话题，应付一下。
为了团结红四方面军北上，8月初在沙窝召开的政治局会议上，毛泽东再次强调了北上方针，陈昌浩被任命为总政治部主任，红军分左右两路过草地，执行《夏洮战役计划》。
沙窝会议后，杨尚昆离开了在他军事生涯中占有重要位置的红三军团，到陈昌浩任主任的总政治部去当副主任。临行前，毛泽东找杨谈话，毛泽东对杨说：“你本来就是总政治部副主任，调你去，顺理成章，你和陈昌浩又是中山大学的同学，有点老关系。”杨尚昆说：“那时我是党支部委员，他是共青团支部委员。”毛泽东还叮嘱说：“你到那里，要强调一个‘韧’字。”“你要做拉不断，扯不折的‘牛皮糖’，软不啦叽地富有韧性；切记不要当玻璃，一敲就碎，一碰就碰裂，那样就不好工作啦。”这几句话使杨尚昆茅塞顿开，心领神会。
杨尚昆带领原政治部的100多名干部，到陈昌浩那里去报到，随右路军一起过草地。尽管陈昌浩不理杨尚昆，但他却奉命当“牛皮糖”，天天到陈昌浩那里去坐坐。一是了解一点动向，二是搞点烟抽。
右路军过草地后，在潘州驻扎，就等张国焘和左路军前来，但是张却借故拖延，按兵不动。
9月8日下午，杨尚昆正好去医院探视病中的周恩来和王稼祥，回驻地途中遇到毛泽东、张闻天、博古三人。他们见杨后下马，毛泽东告诉杨说，张国焘不安好心，要右路军南下。我们决定单独北上，你快回去找叶剑英和罗迈，走时把政治部的干部带出来。杨尚昆回去以后见到叶剑英，叶剑英对杨说，中央机关、政府机关的行动已由罗迈布置，要杨以割青稞筹备粮食南下的名义，带领总政治部的人，向红三军团驻地集中，约定时间9日凌晨2点。
这天晚上，月色很好，杨尚昆按约定时间只身离开驻地，在月光下同叶剑英、罗迈会合，他们不带行李，不带警卫员，不骑马。杨尚昆等走了约七八里，忽听身后传来一片马蹄声，有十几名骑兵冲过来，三人便闪身到道旁，避开了，事后，他们才知道，这是张国焘下令追赶他们的。三人继续走路，天色微明时，走进一个藏民的寨子，晨曦中看见毛泽东、周恩来和彭德怀都等在一个打麦场上。毛泽东见到他们高兴地说：“你们出来了，好得很，我们正为你们担心哩!”在异常严峻的形势下，杨尚昆等坚定地跟随毛泽东，脱离了险境。
9月12日，北上的红一方面军到达了甘肃的俄界村，在此召开的中共中央政治局扩大会议，决定将北上的红军缩编为中国工农红军陕甘支队，彭德怀任司令，林彪为副司令员，毛泽东为政治委员，叶剑英为参谋长，王稼祥、杨尚昆为政治部的正副主任。