长征结束后，杨尚昆协助毛泽东建立西北大本营。抗战爆发后，协助刘少奇创建华北敌后根据地。
1935年10月9日，杨尚昆协助政委毛泽东，司令员彭德怀率领陕甘支队到达陕甘革命根据地吴起镇，至此，中央红军历时一年的长征胜利结束了。陕甘支队在吴起镇稍事体整后，经保安向下寺湾进发。在下寺湾，中央决定成立西北革命军事委员会，杨尚昆被任命为总政治部副主任。随后参加了被称为“给党中央把全国革命大本营放在西北的任务举行一个奠基礼”的直罗镇战役。不久，杨尚昆又奉命做东北军的统一战线工作。
1936年2月，杨尚昆任中国工农红军抗日先锋军总政治部主任，随毛泽东东渡黄河，进入山西作战。6月，他又担任中国抗日红军大学政治部主任。10月，红军三大主力胜利会师后，杨尚昆担任红军前敌总指挥部政治部主任，参加山城堡战役。12月杨尚昆任中共中央革命军事委员会总政治部副主任，领导对西北军的统一战线工作。1937年4月，杨尚昆根据战争形势和各部队情况，向中央提出关于加强红军政治思想教育的意见，受到党中央的高度重视。杨尚昆在很长的时间内担任军队政治工作的领导职务，对红军的政治思想建设做出了重要贡献。
1937年5月，杨尚昆率红军代表团参加党的全国代表会议(当时称苏区代表会议)，被选为大会主席团成员。这时，毛泽东通知杨尚昆，中央决定调他去北方局，要他尽快交接工作。
抗日战争爆发后，1937年8月，杨尚昆任中共中央北方局副书记，奔赴华北前线，协助北方局书记刘少奇创建华北敌后抗日根据地。起初北方局设在太原，北方局的任务，着重在领导地方党组织和群众工作方面，还领导着薄一波为首的山西公开工作委员会。北方局在太原时期，杨尚昆领导了山西工委、牺盟会的党团工作外，还负责指导山东、河北、热河、内蒙古等地党组织的工作。太原失守后，北方局撤到临汾附近后，杨尚昆在临汾组织开办了北方局党校，并亲自讲课，为抗日战争培训了大批领导骨干。
1938年2月28日临汾失陷。3月下旬，中共中央决定刘少奇留延安工作，杨尚昆留在吕梁地区代理北方局书记。4月杨尚昆奉命去延安报告工作。回来后，杨尚昆的主要精力用在了直接指导晋西南省委的工作，着手创建发展晋西南抗日根据地上。
1938年10月，杨尚昆同出席中共扩大的六届六中全会部分同志合影。右起：萧劲光、杨尚昆、罗瑞卿、关向应、萧克、罗荣桓、谢觉哉、贺龙、徐海东等在延安。9月，杨尚昆赴延安参加中共六届六中全会，会上毛泽东肯定了华北的工作，决定刘少奇去华中工作。11月9日中央决定：“以朱德、彭德怀、杨尚昆、聂荣臻、关向应、彭真、程子华、郭洪涛为中央北方局委员，以朱德、彭德怀、杨尚昆为北方局常委，以杨尚昆为北方局书记。”由此杨尚昆接任北方局书记，担负起领导华北敌后抗战的重任。在此后的两年内，杨尚昆一直战斗在太行山上。在这一时期，北方局跟着八路军总部行动。
杨尚昆在这一时期的一项重要工作，便是领导华北各地党的工作。1939年之际，创办了《新华日报》华北版，不久又创办了北方局机关刊物《党的生活》期刊。杨尚昆在这两个报刊上，发表了不少文章，用来指导各地区的工作，同时根据工作需要调整充实了北方局的工作机构。
1939年1月华北各地反共磨擦事件逐渐增多，同时党内许多人对党的统一战线政策产生了许多疑问，思想比较混乱。针对这些情况，杨尚昆先后写了《统一战线与磨擦问题》、《关于山西时局与统战问题的一封信》。通过这些工作，多数人的思想有了转变，对可能到来的反共高潮有了一定的思想准备。随后，杨尚昆协助八路军总部朱德、彭德怀反击了阎锡山制造的晋西十二月事变，粉碎了国民党顽固派发起的第一次反共高潮。以后，杨尚昆组织开展了威震中外的百团大战。
1941年初杨尚昆回到延安参加整风，后在中央工作。解放战争期间，协助中央领导处理中共中央和中央军委的工作。
1940年11月，杨尚昆离开北方局，从太行回到延安，去参加党的七大。中央原决定党的七大在1941年5月1日前召开。但皖南事变发生后，形势紧张，会期被迫推迟，于是杨尚昆留在了延安，在中央机关工作。
1941年初中央成立政策委员会，杨尚昆参加了这个委员会。2月19日杨尚昆向政治局详细汇报了北方局的工作，在这次会议上，毛泽东提出要加强中央秘书处的工作。会议决定由杨尚昆协助王稼祥管理华北、华中委员会的工作。8月，中共中央北方局改组，杨尚昆任北方局书记兼党校校长。以后杨尚昆参加了整风运动。
1944年，许多中外记者纷纷来到延安进行采访，中央决定由杨尚昆协助军委总参谋长叶剑英接待中外记者，随后又兼任延安外事组组长，做接待美军观察组的工作，这便成为延安外事工作的开端。
杨尚昆在延安。1945年4月，杨尚昆出席了党的第七次全国代表大会。8月，任中共中央军委秘书长，主持中央军委总部日常工作，并兼任中央外事工作组副组长。以后，他担任中共中央办公厅主任。
抗战胜利后，蒋介石想独占胜利果实。一面以和谈来欺骗人民，一面加紧备战，企图消灭共产党。1946年，和平在风雨飘摇之中。6月下旬内战爆发。面对国民党军不断袭扰边区，威胁延安的形势，11月11日，杨尚昆兼任中央直属纵队司令，组织中央机关撤离延安的疏散工作。
1947年3月，蒋介石重点进攻陕甘宁和山东解放区时，毛泽东决定和周恩来、任弼时一起继续留在陕北，在黄土高原的山沟里转战，拖住胡宗南的23万兵力，杨尚昆则和叶剑英一起，在黄河东岸的山西临汾三交镇主持后方委员会工作，为马背上的中央发挥后勤保障和参谋作用。
不久，任中共中央后方委员会副书记的杨尚昆和书记叶剑英率领党中央和中央军委机关大部分工作人员转移到晋西北临汾地区。他日夜操劳，协助叶剑英及时向中央提供来自全国各地的各种情报，并向各解放区转达中共中央的指示，为转战陕北的毛泽东和党中央了解敌情、掌握全局、指挥全国解放战争提供了重要保证。
王震曾说过：有些同志，以为中央和毛主席转战陕北期间，没有参谋部，这是一种误解，“毛主席在陕北之所以能够料事如神，指挥若定，中后委起了重要作用。”可见，杨尚昆所做工作的重大意义。
1948年4月中旬，杨尚昆率领中央机关和中央后委留守人员，转移到河北省平山县西柏坡。中共中央和中央工委、中央后委会合后，杨尚昆担任中共中央副秘书长、中央办公厅主任、中央军委秘书长、中央警卫司令员、中直机关党委书记等职务。在西柏坡时期，任弼时病了，周恩来是中共中央的“大管家”，杨尚昆是周恩来的助手，每天晚上，周主持“大办公”会议，把中央各部的头头找到一起，传达书记处和毛泽东的指示，许多要务，由杨尚昆组织实施。杨尚昆紧张有序，快速高效的工作作风，受到毛泽东等中央领导人的表扬。
1949年3月，中共七届二中全会在西柏坡召开。会后作出决定：中央机关和解放军总部准备于3月下旬迁驻北平，并成立转移委员会，由杨尚昆负总责。月底，在杨尚昆等人的具体组织和安排下，中央机关安全抵达北平。9月，他参与筹备中国人民政治协商会议和开国大典的工作。