减少城市人口，既然是看准了的克服困难的根本措施，当然就必须坚持集中统一，全力以赴地去完成。西楼会议期间，2月22日，中央书记处正式决定成立中央精简小组。小组由杨尚昆、习仲勋、谢富治、张启龙、马文瑞、章夷白、高云屏、童小鹏八人组成，杨尚昆为组长。中央精简小组在中央书记处的直接领导下，负责处理有关全国精减职工和减少城镇人口工作中的日常事务，随时向中央反映这方面的情况和问题，研究和提出解决问题的意见。原由安子文任组长的中央精简五人小组即行撤销。
2月27日，中央精简小组召开第一次全体会议，决定建立日常工作机构，设立办公室，日常工作由马文瑞负责；同时决定组织6个小组，分别去华北、东北、西北、华东、中南、西南各大区深入了解情况，调查研究。与此同时，杨尚昆又要中央办公厅派出两个组，在南、北方各选一个工业比较发达的中等城市，考察“八字方针”贯彻落实情况并着重了解精减职工、减少城市人口工作中存在的问题。几天以后，由群众工作组组长王愈明和工业组组长贾步彬各带一个组分别到了无锡和石家庄。
当时，各地、各部门总的来说对精减职工、减少城市人口的重要意义认识不足，决心不大，行动缓慢，存有幻想。针对这种情况，周总理对中央精简小组的工作抓得很紧，而且越来越紧，越来越具体。他不放过任何一个机会，反复阐明精简工作的重大意义和精简工作中的各项政策。
当时，在一部分干部中，确实存在一些模糊认识，主要是认为“形势在逐步好转，多用点人没什么”、“减人减过头了，生产受到损失，工作也削弱了”、“把成千成万职工送回农村是不是共产党依靠工人阶级的政策变了？”等等。杨尚昆说：“我在干部中反复解释，特别是针对党要依靠工人阶级问题。我说这个问题必须从思想上搞清楚，依靠工人阶级不等于职工队伍越大越好。工人阶级这支队伍的大小，决定于经济发展水平。按照当前我们国家的情况，队伍大了，人员多了，首先就要多吃商品粮，农民负担不了，工农联盟就有破裂的危险。很多人吃不饱，害浮肿病，就会影响城乡关系。工业内部关系不协调，也会给市场、财政和人民生活带来困难，这些对工人阶级都是不利的。因此中央决定减人，正是为了工人阶级的整体利益，正是更好地依靠工人阶级。共产党是工人阶级的先锋队，党的性质决定了党必须依靠本阶级，永远不会改变。”
五月工作会议为精简工作打开局面
西楼会议两个月后，1962年5月7日，中央召开工作会议（五月会议），刘少奇主持讨论《中央财经小组关于讨论1962年调整计划的报告（草稿）》。根据西楼会议确定的原则，在经过充分调查研究，掌握了大量材料的基础上，进一步制定了为争取国家财政经济状况根本好转的具体方针政策和措施。在这次会议上，刘少奇尖锐地指出：一般来讲，目前的政治形势是好的，人民是团结的。但是经济是基础，经济形势不好，政治形势就那么好呀？基础不巩固，在困难的情况下，政治形势可能转坏。他强调情况明，思想通，决心才能大。要下决心减少城市人口2000万以上，两年或两年半完成。
会上，邓小平把调整经济、精减人员和加强农村的生产队、发展农业生产并列为当时的两项中心工作。他说，要做的事情很多，恐怕中心任务是两个：一个是减少2000万城市人口，一个是加强农村生产队的工作。这两件事情不能够抓迟了。有些事情还可以慢一点，但是这两件事越抓迟了越不利。刘少奇同意邓小平的看法，强调减少2000万城市人口这件事行动要迅速。他要求各省、市、自治区都要建立指挥部，要和中央精简小组经常通消息，哪里发生了什么事情，情况怎么样，要立即妥善处理。他还说，许多事情，光精简小组负责不了，因为这不仅是精简的问题，而是整个国民经济的调整问题。他说，我觉得减少2000万人比“大跃进”的工作更困难，把调整工作、精简工作做好，要有更大的本事。
5月11日，周总理在中央工作会议上讲话，指出，去年我们还不能设想关这么多厂，拆这么多“庙”，精减这么多人。这件事情，在中国没有哪个政权能够这样做，只有我们才有这样做的基础。现在经过中央政治局常委讨论，下了更大的决心，就是下乡职工要超过1000万人，下乡城市人口相应地争取超过2000万人。这是领导的决心，也是全民族的决心，几乎要震动我们全民族的生活，不是一件简单的事情。为了立即行动，会议决定，在《中共中央、国务院关于进一步精减职工和减少城镇人口的决定》正式下发以前，先把周总理在会上讲话要点带回去，作为工作的依据。
5月14日，中央书记处举行报告会，由李富春、李先念向北京党政军15级以上干部传达五月工作会议精神，听报告的有28000余人，主会场设在人民大会堂，还有8个分会场听同期录音，声势空前。21日，中央书记处讨论通过并发出《中共中央关于减少职工和城镇人口的宣传要点的通知》，要求向广大职工、干部和他们的家属以及农村干部和农民进行普遍宣传，做到家喻户晓。接着，5月27日，中央发出在七千人大会时起草、会后反复修改的《中共中央、国务院关于进一步精减职工和减少城镇人口的决定》，提出全国职工人数应当在1961年年末的4170万人的基础上，再减少1056万人至1072万人。全国城镇人口应当在1961年年末的1.2亿人的基础上，再减少2000万人（包括从城镇到农村去的职工在内），同时相应地减少吃商品粮的人口。文件发出前，5月24日，周总理还召开了国务院各部门党外负责人会议，向党外干部详细介绍了即将发出的《决定》，并说明《决定》之所以提高了原来确定的精减指标，是为了进一步减轻农业生产对城市供应的负担，减轻对农民的压力，缓和市场供应紧张。他强调只要我们全党、各民主党派、全国人民动员起来，一条心，没有克服不了的困难。
不久，各地纷纷报来精减职工和减少城镇人口的计划：精减职工分别为华北150万人，东北180万人，西北88万人，华东248万人，中南200万人，西南171万人，预计全国共精减职工1037万人；减少城市人口分别为华北320万人，东北410万人，西北198万人，华东470万人，中南400万人，西南124万人，预计全国共精减城市人口1922万人。各地报来的数字接近中央的要求。
五月会议以后，精简工作与国民经济的调整特别是工业的调整和企业的关、停、并、转结合进行，决心大、方法对、行动快。到1962年10月，大中城市和重要企业减少职工的任务已经基本完成或者接近完成。1962年底，全国城镇人口总数为11659万人，与1961年底的12707万人比，减少人口和同期内自然增长以及其他增长因素相抵后，实际减少1048万人；农村人口总数为55636万人，与1961年底的53152万人比，增加了2484万人。从1963年开始，精简工作进入扫尾阶段，中央精简小组的主要工作转入政策研究和劳动工资安排。
1963年2月，中央召开工作会议。会上讨论了由中央精简小组起草的《关于全部完成和力争超额完成精减任务的决定》。该《决定》说：“现在全国职工还有3260多万人，城镇人口还有11800多万人，同目前的经济水平和生产任务比较，还是多了。”“1963年全国必须减少职工160万人以上，减少城镇人口800万人。”《决定》还提出：“随着国民经济情况的好转，在减少大量职工以后，我们有可能拨出一部分钱来调整职工的工资。”这个文件后来经中共中央、国务院批准，于3月3日正式下发。调整工资的范围是工人和行政18级以下干部，调整面为45％（后落实为40％）。执行结果是，1963年全民所有制职工年平均工资为641元，比1962年的592元，增加49元，增长8.3％。
3月15日，杨尚昆主持在中南海怀仁堂召开中央一级司局长以上干部会议，请周总理作关于中央精简工作的报告。周总理要求精简任务必须限期完成，以利于从8月份起开始调整工资，为第三个五年计划打下新的发展基础。总之，精简工作必须抓到底，决不能草草了事。
在企事业精简工作取得预定的效果后，中央精简小组开始腾出手来抓党政机关和人民团体的进一步精简工作。1963年3月27日，中央批转了中央精简小组《关于中央国家机关、党派、人民团体编制进一步精减调整的报告》，提出为了贯彻执行中共中央、国务院关于全部完成和力争超额完成精简任务的决定。中央机关行政编制总数，拟在目前实有50900余人中再精减4900人，即编制总数控制在46000人以内，比1960年6月底精减前的67200余人，减少21200余人，减少31.5％。
到1963年6月，同1961年1月比，全国职工总数减少了1887万人；全国城镇人口减少了2600万人；吃商品粮人数减少了2800万人。平稳、顺利、提前、超额完成了这项几乎震动全民族生活的特殊任务。1963年7月31日，中央批转中央精简小组《关于精减任务完成和结束精简工作的意见的报告》，至此，全国性精简工作基本结束。
精简工作基本结束以后
全国性精简工作基本结束以后，中央精简小组并未立即解散，而是继续工作，不定期召开会议，分析形势，研究政策，指导各地各部门妥善处理精简工作中遗留的和精简工作结束后出现的各种问题。直到1964年7月，中央精简小组还召开会议，讨论城市劳动力的安置问题。杨尚昆说：“1964年9月，我准备去陕西搞一期‘四清’，临行前，我给小平、彭真写信，交代我离京后的工作，还特别交代‘精简小组还有一些善后工作，可由富春同志兼顾’。20年前，李富春去东北，他把中办的工作交给我；20年后，我去陕西，又把精简工作交给他，想起来也很有趣。当然，我交给他的是临时任务。”
精简工作基本结束以后，到1963年底，全国城镇人口总数1.16亿人，工业劳动者人数1600万人，分别比1961年底的1.27亿人和2200万人净减1100万人和600万人；乡村人口总数5.75亿人，其中农业劳动者2.2亿人，分别比1961年底的5.31亿人和1.97亿人净增4400万人和2300万人。在当时的情况下，城乡人口比例、工农业劳动者比例趋于合理。由于城镇人口减少，粮食购销量相应减少，农民留粮水平有所提高，这些都极大地促进了农业生产的恢复和发展。1963年,粮食产量为3400亿斤，与1959年产量持平，比1961年的2950亿斤增加450亿斤。
大规模精减职工和减少城镇人口，这是在我国三年困难时期特定的历史条件下，不得已采取的一种特殊措施。一句话，农村养不起这么多的城镇人口，城镇人口只好倒流回农村，别无出路。杨尚昆说：“回顾30多年前这段历史，几千万人逆历史潮流而动，浩浩荡荡地从城市退回到农村，不能不说是一个史无前例的奇迹。这充分体现了当时全国人民同心同德，在党的领导下克服困难的决心、力量和勇气。”他强调：“当时精减回乡的职工，无论以后重返城市或留在农村，都是做出了贡献的。”
历史证明，贯彻执行调整国民经济“八字方针”，精减城市人口起了关键作用。那时，杨尚昆协助周总理宵衣旰食，殚精竭虑，终于按时完成了精减城市人口2000万这项攻坚任务，创造了历史的奇迹，为我国平稳渡过三年困难时期，工农业生产迅速恢复和发展做出了重大贡献。