8月10日，小组会上有人揭发周小舟在7月23日毛泽东讲话的当天晚上，在黄克诚处讲过“主席像斯大林晚年”的话。全场大哗。后来又有人揭发李锐曾向周小舟转述田家英说过：将来有一天他调离中南海时，准备向毛泽东提三条意见：(一)能治天下，不能治左右；(二)不要百年之后有人来议论；(三)听不得批评，别人很难进言。这又引起巨大震动。李锐当场咬定这话不是田家英说的，是他自己的想法。会议转向批判李锐，被刘少奇制止，说李锐不是中央委员，他的问题另外解决。
庐山会议从纠“左”转向反右，彭德怀的《意见书》是“导火索”，看来事情带有偶然性，其实不然。会议前期，大家思想并没有敞开，对形势的估计一直存在分歧，一些不同意见遭到压制。毛泽东原来估计，彭德怀的《意见书》印发后，会引起一些人的批评和反对，而实际情况却是得到了不少人的同情和支持。毛泽东怀疑党内有人在刮风；一些“左”派人物感到批评“三面红旗”的人越来越多，会使人泄气。担心“左”派队伍守不住阵地，有人就到毛泽东那里去告状，要求毛泽东出来讲话。与此同时，从中央到地方都不断传来对“三面红旗”的尖锐批评；在国外，赫鲁晓夫和东欧国家的一些领导人，也连续发表批评中国“大跃进”和人民公社的讲话和文章。这一切都使毛泽东感到形势严重，必须进行反击。
会议从纠“左”转向反右，事先并没有经过中央政治局常委讨论。刘少奇对反右是有保留的。他曾找胡乔木谈话，表示对彭德怀的《意见书》可以在小范围内批判，总的部署还应继续纠“左”，《记录》要争取发出去，让下面继续纠“左”。他要胡乔木向毛泽东反映这个意见，胡乔木说这已经不可能了。
周恩来担心彭德怀对突如其来的严厉批判身心承受不了，就要我安排彭的夫人浦安修上山，从生活上照顾彭德怀。
8月1日，朱德在中央政治局常委会议上就彭德怀的《意见书》谈自己的看法，言词比较缓和，还没有讲完，就被毛泽东打断，指责他“隔靴搔痒”，弄得朱德下不来台。林彪调子最高，说彭德怀“这回是来招兵买马的”，“想当大英雄”，“是野心家、阴谋家、伪君子”；又说这次解决彭德怀的问题，消除了党内可能出现分裂的隐患和避免了经济上出现大马鞍形。林彪的话得到了毛泽东的赏识。
邓小平、陈云因病留守北京，没有参加庐山会议。
8月16日，八届八中全会闭幕。全会通过了《为保卫党的总路线、反对右倾机会主义而斗争》的决议和《关于以彭德怀同志为首的反党集团的错误的决议》。会后，从中央到基层全面开展反右倾斗争，错误地批判和处分了大批党员和干部。
保护“秀才”过关
庐山会议期间，陈伯达、胡乔木、田家英和吴冷西、李锐等一批“秀才”，由于基本赞成彭德怀的《意见书》，并私下对“三面红旗”有所质疑，被卷入到批判当中。最初由彭真提议，几位中央常委也同意，最终保护了陈伯达、胡乔木、田家英和吴冷西过关。杨尚昆在这期间为此做了一些具体工作，他给我们简略讲了讲这个情况。
在上庐山的路上，陈伯达、胡乔木、田家英和吴冷西、李锐等一批“秀才”，对1958年以来的形势就有一番议论。“秀才”们说话百无禁忌，尽管他们在思想上也不可能不受“左”的影响，但他们面对“大跃进”带来的严重后果，却不能不对“三面红旗”提出质疑。会议开始不久，“秀才”们开始接受起草庐山会议记录的任务，心思都集中在如何总结“大跃进”的教训，继续纠“左”问题上。当时，田家英曾把他在四川调查中反映浮夸问题的材料送给毛泽东参阅，引起四川省委负责人的不满；田家英在小组会上发言时，还同四川省委的那位负责人发生了争吵。彭德怀的《意见书》印发以后，“秀才”们都反映写得不错，同他们起草的《记录》基本观点相同。有的组对彭德怀的《意见书》提出批评，田家英、吴冷西还作了解释。
7月23日，毛泽东讲话后，风云突变，这对“秀才”们如晴天霹雳。有人批评田家英反映四川问题是攻击“大跃进”和人民公社；有人批评吴冷西和彭德怀一个鼻孔出气，“犯了路线错误”。使“秀才”们最担心的是他们在会下议论过的一些“私房话”，如果泄露出去，会引起不必要的麻烦。但是，没有不透风的墙。“秀才”们会下议论过的“私房话”还是传出去了。
当时，会议除集中对彭德怀、张闻天等人开火外，那些曾经表示赞成或基本赞成彭德怀《意见书》观点的人，也无不遭到严厉指责，批斗范围有进一步扩大之势。彭真就来找我商量，提出要保护“秀才”。为此，彭真、薄一波和我专门找李锐谈话，要他到此为止，不要再扯宽了。我把这个意思向刘少奇、周恩来和毛泽东汇报，他们也表示同意。随后毛泽东分别找陈伯达、胡乔木、田家英谈话，批评“秀才”们前一段表现不好，方向有些不对头；同时又要他们不要过分紧张，要夹着尾巴做人；还说过两天向会上打个招呼，下“停战令”，对“秀才”们挂“免战牌”。我到“秀才”们的住地，告诉他们：主席已经要我向各组组长打了招呼，要他们集中精力开好八中全会，不要再提“秀才”们的事情，你们可以放心了。
8月11日，毛泽东在八中全会上作长篇讲话，对彭德怀等同志作了系统的批判，同时也讲了要保护“秀才”。他说军事俱乐部那些人想把“秀才”们挖去，我看挖不去。“秀才”是我们的人，不是你们的人。他还说，“李锐不是秀才，是俱乐部的人”。这就正式把陈伯达、胡乔木、田家英和吴冷西保护过了关。
但是，庐山会议后，中央根据庐山会议对“秀才”们的揭发材料，仍决定对他们立案审查。10月，彭真两次找“秀才”们谈话，核对材料。几位“秀才”也向中央作了书面检讨和申辩。10月17日，毛泽东找四位“秀才”谈话，说你们在庐山的表现不好，但不属于敌对分子和右倾机会主义分子，而是属于基本拥护总路线、但有错误观点或右倾思想的人。至此，事情宣告结束。
庐山会议后的彭德怀
庐山会议后，撤销了彭德怀在军队内的职务，但仍保留中央委员、中央政治局委员的职务。党内文件照发，中央政治局会议也照常通知他参加，不过彭德怀照例请假就是了。根据毛泽东的意见，彭德怀有什么事都是通过杨尚昆这个办公厅主任向中央反映。
1959年国庆节前夕，彭德怀搬出中南海，移居吴家花园。10月21日，毛泽东找彭德怀谈话，刘少奇、周恩来、朱德、邓小平、彭真、贺龙、陈毅等同志都到了，我也在座。毛泽东肯定了彭德怀9月9日写信要求学习和参加生产劳动的意见。说读几年书好，要学点马克思主义的哲学、政治经济学。谈话时气氛很好，谈话以后又共进午餐。彭德怀离去以后，毛泽东嘱我以后要经常去看望彭德怀。每月至少两次，主要是了解他的思想动态，帮助他联系和解决学习和生活上的一些问题。11月9日，我和彭真一起去彭德怀处，在彭那里召集高级党校党委常委会，杨献珍、艾思奇、范若愚等同志都到了。当场安排了彭德怀到党校学习的问题，并当面交代，彭德怀是毛主席批准到党校学习的，要派专人辅导他的学习，有什么问题由杨献珍同彭德怀直接联系。
后来，毛泽东多次提出，要彭德怀出来做点事。有一次，他对我说，可以让彭德怀当农垦部部长，要我去征求彭德怀的意见。当然，如果彭德怀同意，下一步还要做王震的工作，让王震把农垦部部长的位置让出来。我考虑，那时彭德怀的情绪很不好，不可能出来工作，因而一直没有同彭德怀谈。还有一次，毛泽东指定我和陈毅、聂荣臻三个人去做彭德怀的工作，主要是说服彭德怀承认错误，有所表示。可是彭德怀心里不服，一直顶着不表态，我们三个人都认为不好开口。以后我见到毛泽东，就说你要我们三个人去做彭德怀的工作，你讲个方针才好。毛泽东看到我们有难处，笑了笑说，那就算了吧!
1961年9月19日，彭德怀给毛泽东写信，要求到农村去做调查研究，请求中央允许他先去湖南故乡搞三个月，了解农村情况，明年春天再去山西太行。他提出，如果允许他外出调查，行前希望见主席一面。我立即把彭德怀的信送给毛泽东，过了些日子，毛泽东批回来：“彭德怀到哪里去都可以。半年也行。”10月23日，我去彭德怀处，把毛泽东同意他下去调查的情况告诉他。25日晚，彭德怀到我的办公室，交来一份去湖南的调查提纲，并要求中央办公厅给他派一个临时秘书，随他去湖南，帮助整理调查材料。第二天，我把金石同志找来，对他说：“彭德怀最近提出要回湖南家乡看看，作些农村调查。因为庐山会议后彭原来的秘书都回军委去了，这次他下去要求中办给他派一位同志帮他整理材料，我们考虑你去比较合适。”金石有些紧张，我对他说：“彭德怀现在仍然是政治局委员，你还是要尊重他。你帮他整理材料，他要你怎么写，你就怎么写，有错误由他负责，与你无关。”
10月30日，彭德怀离京去湖南。他到长沙后，湖南省委书记胡继宗向他介绍了有关情况；在湘潭，由湘潭地委书记华国锋接待。11月3日，彭德怀就到了他的家乡湘潭县乌石大队为民生产队（彭家围子）。
一个多月以后，彭德怀从华国锋那里得知中央准备召开一次由中央局、省、地、县委和大的厂矿企业一级负责人参加的扩大的中央工作会议，他认为这个会议主要是总结1958年“大跃进”以来的经验教训，十分重要，决定立即结束湖南调查返回北京。
彭德怀这次去湖南，历时50多天，最后整理了5份调查报告，他要金石交给我，并附信说：“这些材料都已经和省、地、县委同志交换过意见，没有大的不同意见。如有错误，完全由我负责。”我把彭德怀的几份调查材料连同金石写的随彭德怀去湖南情况的报告一并报送毛泽东。这件事，事前经过毛泽东批准，事后又向毛泽东作了报告，从工作程序和组织原则上讲都是无可指责的。
彭德怀回京以后，看到1962年1月扩大的中央工作会议(即七千人大会)的文件，对刘少奇的书面报告认为是比较实事求是地总结了1958年以来的经验教训，还是满意的；对报告中再次肯定庐山会议的反右倾斗争，也不想要求平反。但是，1月27日，刘少奇在大会上讲话，说：“彭德怀的错误不只是写了那封信，一个政治局委员向中央主席写信，即使信中有些意见是不对的，也并不算犯错误。”“庐山会议之所以要展开反对彭德怀同志的反党集团的斗争，是由于长期以来彭德怀同志在党内有一个小集团。他参加了高岗、饶漱石反党集团。”“更主要的不是高岗利用彭德怀，而是彭德怀利用高岗，他们两个人都有国际背景，他们的反党活动，同某些外国人在中国搞颠覆活动有关”。因而，“所有的人都可以平反，唯彭德怀同志不能平反”。彭德怀对此非常气愤，立即打电话给我说：“请转报主席和刘少奇，郑重声明没有此事。”事后，彭德怀还向人表示，看了刘少奇的讲话，很不舒服。书读不下去，觉也睡不好。彭德怀本来打算春节以后再到太行山老解放区去看看，搞些调查研究，现在这个样子不能去了，去了人家不好办。
七千人大会结束以后，彭德怀立即动手把自己的一生经历、是非曲直详细地写了一个书面材料，要求中央予以审查。这就是后来所谓彭德怀翻案的《八万言书》。6月16日，彭德怀到中南海把这份材料亲手交给我，我按照他的要求，印发给毛泽东和中央政治局、书记处各同志。为了郑重，《八万言书》印出清样后，派人先送给彭德怀，请他校阅后再正式印发。他却说：“相信中央办公厅，不看了，印发吧。”当年7月，毛泽东在北戴河召开的中央工作会议上指责彭德怀翻案，提出要批判“翻案风、黑暗风、单干风”。9月，在北京召开八届十中全会和随后的国庆13周年活动，就不再通知彭德怀参加了。在全会上，毛泽东明确表示：我对彭德怀这个人比较清楚，不能给以平反。全会还决定成立“彭德怀专案审查委员会”，对他进行全面审查。
后来，彭德怀专案审查委员会派人去湖南，对1961年彭德怀回乡作农村调查情况作“追踪调查”。原来，彭德怀在湖南调查结束后，湖南省委曾正式书面报告中央，反映彭德怀在湖南期间表现是好的；但这时却又出尔反尔，向中央报告说彭德怀当时有“反党言行”。这次专案调查人员也专门搜集一些反面材料，断章取义，肆意歪曲，编造了一个《关于彭德怀同志1961年回湘潭情况的调查报告》，说彭德怀那次回乡调查是“别有用心”、“满腹牢骚”，散布了一系列“反党言论”。这个《报告》送我印发时，我发现《报告》上把那些随彭德怀去湖南的工作人员名字也写上了。我当即打电话给彭德怀专案审查委员会负责人，说那几个随行人员都是组织上派去做具体工作的，不要把他们的名字写上。这样，避免了一次可能发生的新的株连。
1965年9月11日，毛泽东要彭真代表中央找彭德怀谈话，说中央决定你去西南工作，任西南三线建设委员会副总指挥。彭德怀表示，我是共产党员，应该服从党的分配，但我犯了错误，说话没有人听，对工业也是外行，还是希望去农村作调查。23日，毛泽东亲自找彭德怀谈话，刘少奇、邓小平、彭真也在座。毛泽东说：“彭德怀去西南，这是党的政策，如有人不同意时，要他同我来谈。我过去反对彭德怀是积极的，现在要支持他也是真心诚意的。”“对老彭的看法应当是一分为二，我自己也是这样。”毛泽东还对彭德怀说：“也许真理在你那边。”
10月19日，彭德怀来找我，要我帮助他解决去西南赴任的一些具体问题，我当即应允。次日，我派中办警卫局副局长田畴、中办机要室副主任赖奎到彭德怀那里，问他有什么要办的事，要一一帮他办好。11月28日，彭德怀乘火车离京去成都，我的中央办公厅主任一职已被免去，不便以私交关系送他，实属憾事。又岂知，更为遗憾的是，10月19日一面竟成永别!
杨尚昆和彭德怀友谊深厚，情同手足。1998年初，在撰写纪念周恩来、刘少奇两篇文章的同时，他不顾疲劳，又开始撰写纪念彭德怀百年诞辰的文章。他强调一定要把彭德怀最突出的特点写出来，主要写他时刻以党的利益为重，无私无畏，为党为人民奋斗终生，立下丰功伟绩，最后在蒙冤的逆境之中，革命意志弥坚，是一个真正高尚的人。那年5月，杨尚昆去上海，我随行去上海档案馆查档。这期间，他还召集我们随行人员反复讨论这篇文稿。不料，杨尚昆这次归来后就病倒了，《追念彭大将军》一文是他最后的日子里在病榻上定稿的。