2月上旬，红三军团主力奉命从福建调往江西，参加三溪圩反击战。这时国民党军已经从北线和东线逼近中央苏区，利用的是陆空配合、步步为营的战略战术。临时中央的负责人和新来的共产国际军事顾问李德下车伊始，便盲目搬用外国的战术，提出：“游击战的黄金时代已经过去”，主张要“御敌于国门之外”，以“碉堡对碉堡”，“短促突击。”
短促突击就是要在两个碉堡之间打一下，把敌人引出来加以消灭。由于我军没有重炮，只能在敌堡间钻来钻去，每次都引不出敌人，枪弹只能是无谓的消耗，而得不到补充，面对这种形势，彭德怀与杨尚昆于3月13日联名电告军委：如按军委电令继续攻敌主力集结的右鼓岭、立壁岭一带，“不仅徒耗兵力，而且丧失机动。”为此，军委不得不确定停止强攻。由于冒险主义战术的影响，三溪圩反击战中，我军死亡389人，重伤1363人。杨尚昆通过这次战役，已开始认识到了“左”倾错误领导的危害，在思想感情上与彭德怀越来越近了。
1934年3、4月间，国民党军11个师兵分两路，沿盱江两岸，在宽20公里的广阔地域上构筑碉堡，向广昌推进。广昌，离瑞金不到100公里，是中央苏区的北大门，县治所在地没有坚固的城墙，易攻难守。红军集中了红一、红三、红五和红九军团几乎全部主力阻挡敌军，以阵地对阵地，堡垒对保垒，与敌人会战。博古和李德发出“誓死保卫广昌”的训令，并且成立临时指挥部，亲赴前线指挥。
红三军团善于打防御战，放在盱河东面主战场，红军与敌连战10天，也不得不且战且退，由于连日攻坚，红军的消耗很大，如此下去，必然导致失败。这时彭德怀不顾个人得失，再次向博古和李德坦率直言：以红军现有的条件，不可能固守广昌。李德不以为然，说指挥员的意志和信念是决定一切的条件，而且认为彭德怀夸大困难，缺乏信心是右倾。
眼看两人要顶牛，这时杨尚昆则建议大家一起去视察一下广昌的地形，然后再定作战方案，然而李德看了现场后，仍不以为然地说：“欧洲的城市保卫战，多数不靠高而且坚的城堡。”命令红三军团立即用土木修筑半永久性的碉堡工事，建成巩固的防御阵地。
彭德怀接捺不住地说：“就算有了较为巩固的野战工事，也经不住敌军的轰炸和炮击。如果这样固守广昌，少则两天，多则三天三军团13万人将全部毁灭，广昌也就失守了。”在这种僵持的局面下，杨尚昆劝说彭德怀不要硬顶，可以提出一个灵活性的方案。
彭德怀接受了杨尚昆的建议。杨尚昆和参谋长邓萍共同商定了一个决战防御的作战方案：派一个200人的加强连进占工事，吸引敌人来攻，主力隐蔽集结在广昌西南5公里的山地上，控制制高点，等待敌人攻我守备阵地时，从它的左侧后发起突然袭击，争取消灭部分敌人，博古、李德对这一方案同意，并下了最后的命令：正面守军不应少于一个加强营。
4月27日晨，盱江东西两岸的敌军发起总攻，国民党军出动三四十架飞机，一个炮兵旅开路，一次推进一二千米，构筑好野战工事后，再前进一步，敌军此起彼伏，波浪式前进。在敌人这样密集的炮火封锁下，奉命正面守备的加强营，向外无法突击，其余部队也完全失去了机动能力。最后正面守备的加强营全部牺牲，一个也没出来，被李德称为“半永久性工事”也几乎被炸平了。博古和李德看到了这种情况，到黄昏时才允许撤出战斗，放弃固守广昌的计划，28日坚持了几天的广昌保卫战结束，广昌失守。
当天晚上，刚直不阿的彭德怀面对李德和博古说：“第五次反‘围剿’以来，没有打过一次痛快仗。原因是你们司令部指挥上的错误。”彭德怀越说越激动，甚至有些急不择言：“三军团这次要是听了你们的话，用多兵堆集守广昌，那就全完了!你们至今还不认账，真是‘崽’卖爷田心不痛!”双方言辞异常激烈。杨尚昆则劝解彭德怀冷静，来缓和僵局。
回指挥部的路上，彭德怀仍余怒未消，拍拍随身带的背包说：“尚昆，我今天把那套旧军衣装在包里，准备随他们到瑞金去，受公审，开除党籍，杀头，无所顾忌了!”杨尚昆则在一旁劝慰道：“是非自有公论，大敌当前，团结重要。”
广昌失守后，中央红军不得不撤离江西中央苏区。彭德怀心情沉重地向杨尚昆说：“尚昆，在几次反‘围剿’中，毛主席领导我们，仗打得很顺利，第三次反‘围剿’战争，蒋介石五十万兵力长驱直入，我们只有三万多一点，丝毫不乱，一一将敌军粉碎。这一次，中央军区和红军的实力比以前强很多，可是落得这么个结果!”彭德怀的回顾和慨叹使杨尚昆开始认识毛泽东的正确和“左”倾路线的危害。
10月17日，彭德怀、杨尚昆率红三军团，依依惜别中央苏区，开始了长征。
长征途中，接连突破敌军四道封锁，战功卓着。遵义会议上，坚决拥护毛泽东的正确主张，会后在毛泽东指挥下奋战，危难关头，为革命立下不可磨灭的功勋。
1934年10月17日，杨尚昆和彭德怀率领红三军团从江西出发，开始长征。10月21日，在一、三军团协同下，与粤军进行激烈战斗，护卫中央纵队渡过信丰河，突破了第一道封锁线。随后红三军团又奉命分左右两个纵队向敌第二道封锁线上的汝城发起进攻。后发现难以攻占，彭德怀和杨尚昆商议，报中革军委同意，决定避实就虚，绕过汝城，一面监视城内守敌，一面将我主力从城南的天马山、大来圩等地西进。
11月2日，红军顺利通过第二道封锁线，进入湘南粤北地域。面对第三道封锁线，彭杨二人审时度势，周密考虑，向军委提出了正确的突破方案。在突破封锁时红三军团第六师为突破国民党军队第三道封锁线立了首功，14日红军全部通过第三道封锁线。中革军委向各军团发来通令：“军委赞扬三军团首长彭、杨同志及三军团全体指战员在突破汝城及宜、郴两封锁线时之英勇与模范的战斗动作。”
1933年，杨尚昆(右一)同参加“五卅”运动大会的少共中央排球队合影。红军突破三道封锁线后于8月底进入湘南，到了湘江边。这时蒋介石摸清了红军渡湘江和红二、六军团会合的意图，调集了40万国民党军，在湘江西岸布下了口袋阵，企图利用湘江天堑全歼红军。27日，彭杨率红三军团占领了湘江渡口，架起了浮桥，全力抵挡住合围来的湘军、桂军和蒋军，但是这时中央纵队还在80里外的文市。在这场坚守阵地的斗争中，红三军团的主要对手是战斗力很强的桂军。当时有这样一个说法：滇军黔军两只羊，湘军就是一头狼；广西猴子是桂军，猛如老虎恶如狼。杨尚昆和彭德怀三天三夜没下火线，指挥红军坚守渡口，面对敌机的狂轰滥炸和地面敌人的猛烈炮火，以鲜血和生命扞卫了阵地。直到29日，中央纵队才到达界首渡口，12月1日渡过湘江。
湘江之战是红军长征以来最险恶的一仗，广大红军指战员浴血奋战5昼夜，终于跨越天堑湘江，突破了敌人的第四道封锁线，粉碎了蒋介石“务求全歼，毋容匪寇再度生根”的幻想。但同时红军也付出了惨重的代价，全军人数由出发时的86万人锐减到3万多人。作为中央红军主力之一的红三军团，实力也损失一半，第六师已不成建制，担任掩护的十八团，完成任务后大部壮烈牺牲。
湘江一战红军似乎已频临危境。面对这种残痛的局面，广大红军官兵对博古、李德的指挥已由怀疑、不满发展到完成失去信心，纷纷要求毛泽东出来指挥军事，恢复正确的战略战术，不久具有重大历史转折意义的遵义会议召开了。
1935年1月，中共中央政治局扩大会议在贵州遵义召开，杨尚昆和彭德怀作为红三军团的代表参加这次历史性会议，参加遵义会议对杨尚昆来说是“上了极好的一课”，他以亲历的事实批判了李德、博古所执行的以进攻中的冒险主义，防御中的保守主义和退却中的逃跑主义为特征的错误军事路线。在两条军事路线的强烈对比中，杨尚昆深刻地体会到以毛泽东为代表的军事路线的英明正确，遵义会议使他又进一步认识了毛泽东。
遵义会议后，毛泽东统率在川黔边的3万多红军，面对四五十万追截拦堵之敌，灵活机动避强打弱，在运动中寻找机会打击敌人，上演了一幕四渡赤水的精彩好戏。在这场战斗中，杨尚昆和彭德怀灵活机动地执行毛泽东和军委的战略意图，根据战场形势的变化，及时提出合理建议，上下齐心在紧急关头为革命建立了不可磨灭的贡献。
红军原来准备从长江上游的泸州、宜宾间北渡，会合红四方面军，在川西北创立根据地，实现遵义会议的战略决策。根据1935年1月20日中革军委发布的《渡江作战计划》，命红三军团攻占重要的渡口土城。毛泽东和中革军委估计土城守敌是川军的4个团，不料一打响，敌军火力出手意料的猛，这时侦察发现守敌是3个旅近8个团。彭杨立即向军委建议：“脱离此敌，转向新的地区前进。”当晚毛泽东、朱德亲临阵地前沿观察，接受彭杨建议。第二天拂晓，下令红军全军西渡赤水河，向川南的古蔺地区转进。这就是一渡赤水。