1936年7月上旬，红二、四方面军按照既定的北上部署，分三路纵队陆续出发北上。由于这次北上目的明确，广大指战员兴高采烈，精神焕发，勇气倍增。
这次北上首先要跨过茫茫草原。对于红四方面军许多指战员来讲，这已是第三次过草地了。由于有了前两次过草地的经验，各部队都做了充分的准备工作，筹集到一些粮食，炒熟后装进干粮袋中，这是每个红军指战员的必备行装。
为了能使红二、红四方面军各部队顺利通过草地，许世友率领红四方面军骑兵师已于6月27日出发打前站，为后续部队开路，筹集粮食。
他们经色曲河、西倾寺、壤塘至阿坝，一路上经过数十次战斗，筹集到了二三万头牛羊和大批粮食，为后续部队过草地提供了有利条件。
红二方面军是第一次过草地。贺龙在甘孜主持召开了红二方面军各师、团领导干部会议，传达了党中央的军事战略方针，要求各部队召开党的积极分子和干部会议，搞好政治动员，加紧进行北上的各项准备工作。在短短的几天里，红二方面军每人准备了十天的干粮，并大部 分解决了帐篷、骡马、草鞋等。考虑到重伤员过草地将会遇到更大困难，经过当地党组织和政府，将他们寄养在可靠的群众家里。各部队卫生机关也进行了积极的准备，筹集药品，制作简易担架，以便在行军途中收容、诊治伤员。
继朱德、张国焘率领左纵队的红四方面军部队出发后，红二方面军也出发北上。7月6日，陈伯钧、王震率领红六军团从甘孜东谷出发，途中同红三十二军会合，向阿坝地区进发。贺龙率领红二军团担负总断后和收容任务，于7月14日从甘孜东谷出发，经西倾寺、壤塘向阿坝前进。为了能使红二方面军顺利走过草地，红四方面军在过草地时，特地把直属队所有的驮帐篷、行李的牦牛留了下来。
从甘孜出发后，任弼时按照朱德、刘伯承的意见，暂时离开红二方面军，随红军总部行动。在过草地时，任弼时终于和一直在前线的红四方面军总指挥徐向前见了面。见面后，任弼时就党和红军的团结问题征求了徐向前的意见。徐向前说：党中央和毛泽东同志北上方针是正确的。自己当时没有跟中央走，是不想把四方面军分成两半。大敌当前，团结为重，张国焘另立“中央”很不应该，党内有分歧可以慢慢谈嘛！但是我说话他不听，朱老总的话他也不听。现在取消了“中央”，对团结有利。
北进期间，最好不谈往事，免得引起新的争端。
之后，任弼时又和陕北的中共中央以及红二方面军的领导同志反复商讨团结问题。任弼时为革命大局所做的这些促进团结的工作，得到了许多领导同志的高度评价。陈云说；“弼时同志直到过金沙江后才知道一、四方面军之分裂，他采取了非常正确的立场。”徐向前说：“他给我的印象，冷静、诚恳，对促进党和红军的团结，充满信心。”“弼时同志做的这些工作，对促进党和红军的团结，有重要作用。”
中共中央对于红二、红四方面军迅速北上，实现三大主力红军会师，迎接抗日斗争的新高潮，寄予了厚望。因此，红二、红四方面军北上后，始终得到中共中央的极大关心。中共中央不断地向北上途中的红二、红四方面军通报敌情，介绍全国革命形势的发展，鼓励两个方面军战胜一切困难，团结前进；同时还动员红一方面军和陕甘苏区全体人民，粉碎敌人的进攻，配合、迎接红二、四方面军北上。
7月27日，经中共中央正式批准，成立中共中央西北局，张国焘任书记，任弼时任副书记，朱德、贺龙、关向应、徐向前、王震、陈昌浩等为委员，统一领导红二、红四方面军的北上行动。中共中央西北局的组成，出乎张国焘的意料之外。这不是原先张国焘设想的直属于中共驻共产国际代表团和陕北党中央平行的组织，而是归党中央统一领导的下属组织。西北局的成立对坚持党的组织原则，打破张国焘个人专权，保证党中央方针的贯彻和北上会师起了重要作用。
7月底，红四方面军先头部队进占包座。8月上旬，红四方面军、红二方面军先后走出草地。8月1日，中共中央致电朱德、张国焘、任弼时，指示：“四方面军到包座略作休息，宜速北进。二方面军随后跟进到哈达铺后再大休息，以免敌人封锁岷西线，北出发生困难。”根据中共中央的指示，朱德、张国焘、任弼时于当日复电中央，表示：“我二、四方面军全体指战员对三个方面军的大会合和配合行动，一致兴奋，并准备牺牲一切，谋西北首先胜利奋斗到底！”
接到朱德等人的电报，毛泽东、张闻天、周恩来等人非常兴奋，于8月3日复电：“接八月一号电，为之欣慰。团结一致，牺牲一切，实现西北抗日新局面的伟大任务，我们的心和你们的心是完全一致的。”“我们已将你们的来电通知全苏区红军，并号召他们以热烈的同志精神，准备一切条件欢迎你们，达到三个方面军的会师。”
然而，张国焘的分裂暗流并没有停止。8月初，中共西北局在求吉寺开会，讨论北进计划。此前，红二、四方面军领导人曾拟北进岷县、洮河、西固的计划，张国焘也表示同意。但随着三大主力红军会师的日子越来越近，他日益感到恐慌不安。于是，张国焘在西北局会议上提出了从齐哈玛西渡黄河，由西面北出青海到新疆的主张。这个主张显然是和中央的北上会合精神背道而驰的。
朱德、任弼时坚决反对张国焘的主张，认为两广事变发生后，说明在全国抗日救亡运动走向高涨的形势下，国民党内不同派别的斗争日益尖锐，将会动摇蒋介石的现行政策。红二、四方面军北上同中央和红一方面军会合，打破国民党军的“围剿”，巩固陕甘根据地，可以结束红二、四方面军无根据地的状态，起到配合全国人民抗日救亡运动高潮的作用。如西渡黄河到偏僻之地，远离中国政治中心区域，就无法起到这个作用。
与会者多数赞同朱德、任弼时对局势的分析，张国焘见状，只好放弃从齐哈玛西渡黄河的意见。8月5日，西北局通过了《岷（县）洮（州）西（固）战役计划》，决定乘敌兵力分散，主力尚未集中之机，集中红军主力于岷县、洮州方向，先机攻占岷县、洮州、西固地区，以利继续北进。岷县是甘南重镇，也是四川和甘肃的交通要道，在战略上占有重要的地位。当时的岷县县城是明朝洪武年间建的，东临迭藏河，西接子城后所，北俯洮河，南仰二郎山。洮河和迭藏河似两条巨臂环抱岷县城，海拔3000多米的二郎山脚与县城相连。这种两面环水、一面面山的险要地形，使岷县城易守难攻。国民党守军鲁大昌为了长期占据这个地盘，进行了苦心经营，除了修筑坚固的城防工事外，还顺着二郎山的山势修了三个巨型碉堡和数道环形堑壕，并以交通壕将三个巨型碉堡及二郎山主峰与县城连为一体，构成了山、城互为依托的比较完备的防御体系。