遵义是黔北的政治、经济中心，贵州第二大名城。这里是黔北各种土特产的集散地，是汉、苗、黎各族商贾云集之所，市面十分繁华，既有新城，又有老城，一条河流从中间流过。它是中央红军长征以来攻占的第一座较大的城市。
中央红军突破乌江，智取遵义，打了国民党军一个措手不及，争得了半个月的休整时间。从15日至17日，中央政治局在遵义召开了扩大会议，这就是中共党史上著名的遵义会议。出席会议的政治局委员有毛泽东、张闻天、周恩来、朱德、陈云、博古，候补委员有王稼祥、刘少奇、邓发、何克全（凯丰），还有红军总部 和各军团负责人刘伯承、李富春、林彪、聂荣臻、彭德怀、杨尚昆、李卓然，以及中央秘书长邓小平。共产国际军事顾问李德及担任他翻译的伍修权也列席了会议。会议的目的是：（1）决定和审查黎平会议所决定的暂时以黔北为中心，建立苏区根据地的问题。（2）检阅反对第五次“围剿”中与西征军事指挥上的经验与教训。
在“左”倾教条主义领导者的错误指挥下，中央红军没有打破国民党军对中央苏区的第五次军事“围剿”。长征开始后，红军又屡造挫折，这与前四次反“围剿”胜利的情况形成鲜明的对照。广大红军指战员由此逐渐认识到，这是排斥以毛泽东为代表的正确领导，贯彻执行错误的军事指导方针的结果。
还在中央苏区时，就有许多干部对博古、李德在军事指挥上的错误产生过怀疑和不满，毛泽东等也多次提出正确的主张，但都没有被接受。随着中央红军长征开始后的不断失利，这种不满情绪日益增长，到了湘江战役之后达到顶点。在干部中特别是高级干部中，眼看着红军目前几乎处于绝境，心中充满焦虑，酝酿着要求纠正错误，改变中央领导的意见。
长征开始后，中革军委副主席、红军总政治部主任王稼祥由于在第四次反“围剿”时负了重伤，坐在担架上随队行动。恰好毛泽东也因病坐担架，经常同王稼祥同行。他们就天天在行军途中交换关于党和军队前途问题的意见。王稼祥向毛泽东坦率地表示了自己对当时形势的忧虑，认为这样下去党和红军的命运岌岌可危，应该把李德等人轰下台。毛泽东很赞同他的想法，两人商议建议召开中央政治局会议，解决面临的严重问题。
和王稼祥取得意见一致后，毛泽东又做张闻天的工作。张闻天是中央政治局委员、书记处书记，当时在党内地位仅次于博古和周恩来。在中央苏区时，他虽然执行过“左”倾错误路线，但在许多问题上与毛泽东有着相同的看法。长征开始后，张闻天同毛泽东、王稼祥一起在中央纵队行动，进一步加深了对毛泽东的了解。这样，就形成了以毛泽东为首的反对博古、李德的“中央队三人团”，为召开遵义会议打下了基础。
在同毛泽东商议后，王稼祥出面提议召开遵义会议，得到了张闻天、周恩来、朱德等人的支持。他们同博古、李德等人的分歧越来越大，从老山界到黎平，从黎平到猴场，一路展开争论，对于军事指挥上的错误问题基本上取得了一致意见。于是，召开会议的条件成熟了。
1月15日晚，中共中央政治局扩大会议在遵义旧城黔军师长柏辉章的公馆内举行。该公馆是遵义城内最好的建筑，从外面看去，高墙壁立，朱门厚重，巍峨气派。与会人员从临街的大门进入，穿越过厅，迎面是一座砖砌的照壁，其上用五彩瓷片嵌字，正面为“慰庐”，背面为“慎笃”。照壁后面是一个小天井，天井以青石铺墁，南面有小门通往四合院，北面则是主楼。楼上东走道有一小客厅，可容纳20余人，中央政治局扩大会议的会场就设在这个小客厅里。小客厅里有红木地板和门窗，天花板上吊着一盏煤油灯，中间放着一张长方形的桌子，20把椅子摆成一个半圆形。为驱赶寒冷，地板上烧着一盆炭火。
这次会议由博古主持，首先根据刘伯承、聂荣臻的建议，分析了黔北地区是否适合建立根据地的问题。经过讨论，大家认为这里人烟稀少，少数民族又多，党的工作基础薄弱，不便于创建根据地，应放弃黎平会议确定的以黔北为中心创建根据地的计划，决定北渡长江，同红四方面军会合，在川西或川西北创建根据地。
接下来，会议讨论总结第五次反“围剿”以来的经验教训。博古首先作关于第五次反“围剿”的主报告。报告中，博古过分强调客观原因，把第五次反“围剿”的失利归结于帝国主义、国民党反动力量的强大，白区和苏区的斗争配合不够，根据地的后方工作、物资供应工作没有做好，等等。
中革军委副主席、红军总政治委员周恩来作副报告。他指出，第五次反“围剿”失利的主要原因是军事领导的战略战术的错误，并主动承担责任，诚恳地作了自我批评，同时也批评了博古和李德。
按照会前与毛泽东、王稼祥共同商量的意见，张闻天作了反报告，比较系统地批评了博古、李德军事指挥上的错误。他的反报告，为遵义会议彻底否定博古、李德在第五次反“围剿”中执行单纯的防御路线定了基调。
接着，毛泽东作了重要发言，讲了大约一个多小时。毛泽东对博古、李德在军事上的错误进行了切中要害的分析和批评。他针对博古在报告中强调的第五次反“围剿”失败的主要原因是敌强我弱等观点，认为 第五次反“围剿”失败的主要原因是军事指挥和战略战术上的错误，并阐述了中国革命战争的战略战术问题和此后军事上应采取的方针。
紧接毛泽东之后发言的是王稼祥。他表示完全赞同毛泽东的意见，严厉批评了博古、李德违反党的民主集中制，在军事指挥上个人专断的恶劣作风，并提议撤消李德在军事上的指挥权，毛泽东应参与军事指挥。朱德在王稼祥之后发言，态度鲜明地支持他的老战友毛泽东的正确意见，声色俱厉地批评了博古的错误，谴责他依靠外国人排斥毛泽东，并说：“如果继续这样的领导，我们就不能再跟着走下去！”
周恩来在发言中也坚决支持毛泽东对“左”倾军事错误的批评，全力推举毛泽东参与军事指挥。周恩来说：只有改变错误的领导，红军才有希望，革命才能成功。周恩来的发言和倡议得到与会绝大多数同志的积极支持。
刘伯承、李富春、聂荣臻、彭德怀、李卓然等都相继发言，表示支持毛泽东的发言和张闻天的反报告。林彪没有多讲话。只有担任少共中央书记的凯丰反对毛泽东的意见。他甚至对毛泽东说：“你懂什么马列主义？你顶多是知了些《孙子兵法》！”并表示保留自己的意见。
博古虽是被大家批评的主要对象之一，但他的态度还是比较端正的，并没有借主持会议的权力去压制别人的意见。
被批评的另一个主要对象李德，从会议一开始处境就很狼狈。当时，别人都是围着桌子坐，他却坐在会议室的门口。别人发言时，他一边不停地听着伍修权的翻译，一边不断地使劲抽烟，神情十分沮丧。李德在会上也曾发言，只不过是辩解，不承认自己有什么错误，而是把责任推到客观原因和中央身上。
会议一共开了3天，气氛激烈紧张，发言声很高，每天总是开到半夜才休会。最后，会议做出了下列重要决定：1.选举毛泽东为中央政治局常委。
2.指定张闻天起草决议，委托常委审查，然后发到支部讨论。
3.政治局常委再进行适当的分工。
4.取消“三人团”，仍由最高军事首长朱德、周恩来为军事指挥者。委托周恩来同志为党内对于指挥军事下最后决心的负责者。
2月8日，中共中央政治局常委会审查和通过了由张闻天起草的《中共中央关于反对敌人五次“围剿”的总结决议》（简称《遵义会议决议》）。决议全面总结了第五次反“围剿”以来红军失败的教训，系统地阐明了中国革命战争的特点和相应的战略战术，深刻批判了“左”倾教条主义在军事上的错误。
在紧急的战争环境下，遵义会议没有更多的时间去全面讨论政治路线方面的问题。况且，中共中央对多年来的党的工作中的所有重大问题的是非取得一致的意见是需要有一个过程的。因此，会议决议只是一般地肯定中央的政治路线，也没有探讨造成军事指挥错误的深刻的政治原因。但是，遵义会议明确地回答了红军在战略战术方面的是非问题，指出博古、李德军事指挥上的错误，同时改变了中央的领导特别是军事领导，解决了党内所面临的最迫切的组织问题和军事问题，结束了“左”倾教条主义错误在中央的统治，确立了毛泽东在中共中央和红军的领导地位。而这些成果，又是在中国共产党同共产国际中断联系的情况下独立自主取得的。这次会议，在极端危急的历史关头，挽救了党，挽救了红军，挽救了中国革命。从此，中国共产党能够在以毛泽东为代表的马克思主义正确路线领导下，克服重重困难，一步步地引导中国革命走向胜利。遵义会议是党的历史上一个生死攸关的转折点，它标志着中国共产党在政治上开始走向成熟。