从广州到太原
1965年12月杨尚昆到广东后，没有什么工作可做。省委只是给他看一些文件，说先休息几天，慢慢熟悉情况，并没有进行分工，安排具体工作。杨尚昆按原来设想的到广东后各县都要跑一遍的计划，于12月18日即从广州出发，先后到了海口、琼海、兴隆、崖县（三亚）、湛江、电白、阳江、新会、江门、佛山、中山、顺德、宝安（深圳）等地，重点听取各地“四清”运动的情况汇报。1966年1月17日，杨尚昆第一次也是最后一次参加省委会议，听取区梦觉传达中南局会议精神。1月26日，他还参加了王震召开的海南岛发展橡胶问题的会议，在会上发言指出，要帮助少数民族发展经济，适当发展橡胶，并对橡胶管理体制提出一些意见。春节后，杨尚昆身体日渐虚弱，病痛加重，经中央批准，于1月31日离开广州到上海，住入华东医院。3月8日，接中办电话，中央同意卫生部的建议，杨尚昆休息三个月。4月18日，杨尚昆与广东省委副秘书长马甫通电话，得知省委拟于5月5日召集地、县委书记在从化学习毛泽东著作。他认为，这是一个好机会，不仅可以熟悉人，还可以从基层工作的同志那里学到很多东西，当即决定提前回广州。4月20日，杨尚昆离开上海，经南昌，23日到达井冈山，在那里重读了《井冈山的斗争》和《中国的红色政权为什么能够存在?》两篇毛泽东著作。27日到达瑞金。5月5日回到广州，住小岛招待所10号楼。随后得陶铸通知：“尚昆同志不必参加地、县委书记会了。”19日，陶铸在中山纪念堂作“文化大革命”动员报告，也没有通知杨尚昆到会。
5月22日，陶铸等人到小岛招待所10号楼向杨尚昆口头传达5月中央政治局扩大会议精神和免去杨尚昆的广东省委书记处书记、改任肇庆地委书记的决定。陶铸等离开后，杨尚昆就把我和赵宇田叫去，如实传达了中央对他的决定，并说他在中办20年，工作没有做好，还犯了错误，表示拥护中央的决定，接受中央的审查，问题总会弄清楚的。杨尚昆还说：“我想得通，做地委书记、县委书记都可以，只是不当一把手。”还说：“现在我要下去工作，你们就回北京吧。回去以后，中办会找你们揭发我的错误，你们认为我还有哪些错误，如实讲，不要有顾虑。”在以后的一段时间里，杨尚昆反复讲，一切相信组织，相信中央。
从这时起杨尚昆的对外联系就被切断了。同李伯钊和子女的电话也接不通了。马甫倒是经常来看看杨尚昆，并要我和赵宇田照顾好杨尚昆的生活，叮嘱我们不要同时外出，杨尚昆身边要有人。
5月23日，杨尚昆给邓小平和周恩来打电话，要求调回北方工作，电话打了半天也没打通。无法，只好把电话打给机要室，传去了一段文字：“小平、总理并常委：昨日陶、赵与我谈过，我拥护中央的决定。我恳请中央考虑，调换一个工作地区，无论东北、西北、华北的基层都可以。因广东潮湿而酷热，两臂的关节炎日益加剧，右手已抬不起来，治疗也无效，20天来每天中午发烧37.4℃，食欲不振，体重还在下降，恳切要求，万望考虑赐复。”
5月24日，中央发出《关于陆定一同志和杨尚昆同志错误问题的说明》（中发［66］277号文件）。关于杨尚昆的问题，文件说：“杨尚昆同志的主要错误如下：（一）他不顾中央多次关于禁止安装窃听器的决定，背着中央，私设窃听器，私录毛主席和常委同志的讲话，盗窃党的机密。（二）他把大量的机密的文件和档案擅自提供给别人抄录，严重地泄露党的核心机密。（三）他同罗瑞卿等人的关系极不正常，积极参加了反党活动。（四）他还有其他的严重错误。”
但杨尚昆的要求，还是得到邓小平和周恩来的支持。5月28日，陶铸来到小岛招待所10号楼告诉杨尚昆中央已决定让他去山西，任临汾地委书记处书记。5月30日，由马甫护送，杨尚昆乘火车经石家庄于6月2日到达太原，住太原饭店西楼。
在太原，杨尚昆感慨地说，人的一生有几个20年?顶多四个吧，何况还不一定能活到80岁。第一个20年，糊里糊涂过来了；第二个20年参加革命，变化很大；第三个20年，小心翼翼，不求名利，还是犯了错误；第四个20年，从头开始，尽可能做点工作吧!杨尚昆在太原闲住了一个月，多次要求早些下去工作，但都被婉言拒绝。后来实在无法，于6月23日安排了一次汇报来敷衍，由省农办的同志介绍山西的农业情况。
7月3日，杨尚昆上午去晋祠散步，忽传来电话说省委领导要来谈话，下午不要走开。中午l时许，我午睡正酣，突然被车声惊醒，发现此时太原饭店院内已军警林立，如临大敌，杨尚昆不知去向。山西省委副秘书长欧阳景荣跑到我的屋里，还有两个不知什么人，同我和赵宇田谈话，说杨尚昆犯了错误，你们要和他划清界限等等。随即把我们带到一个地方，欧阳景荣走了，那两个人留了下来，和我们形影不离，过了一夜，又一同登上火车，7月5日晨到达北京。第二天，我们就被安排到“学习班”参加运动揭批杨尚昆去了。后来才知道，7月3日那天，杨尚昆被转移到另一个地方，从此开始了长达9年的“监护审查”。
身处逆境 意志弥坚
1966年7月3日，杨尚昆开始被“监护审查”。起初，生活待遇尚可，配有服务员和厨师，只是失去了自由。12月25日，中央专案组派专机把他押回北京，从此，他开始被无休止地批斗，受尽摧残、折磨。就是在这样的逆境中，杨尚昆还是坚信党，充满着乐观主义精神。他认真研读马列和毛泽东著作，时刻关心国家大事。1967年杨尚昆在日记中记录了他最困难的日子，也记下了一个坚定的马克思主义者的风范。
“1月15日。茶叶、收音机都收走了。没有收音机听，起床后只好散步，因天不亮看不见东西。下午读《人民日报》，周公宴会上欢迎卡博的致词和卡博的讲话。”
“1月26日。右手指麻木，写东西不便。腰痛极了，坐卧不安。上、下午读毛选。”
“2月4日。主席接见卡博、巴卢库，身体甚健康。下午读毛选。”
“2月9日。旧历丁未年元旦。昨晚下了中雪，兆丰年!60周岁了!上、下午读报、毛选，第一卷已完。”
“5月25日。以清茶一杯纪念联合生日（杨尚昆历来在每年的5月25日和他的次子杨绍明同时过生日，称“联合生日”——作者注）。小二你在做什么?勇敢地奋斗吧!努力做一个主席的好学生!”
“5月30日。上午外出与专案小组谈话。头疼不安，坐着读书不方便，只好躺下读毛选。”
“6月19日。今天是主席《关于正确处理人民内部矛盾的问题》发表10周年，听了全文广播，《人民日报》全文发表。蚊子咬人，午夜2时才睡去。”
“7月8日。读《论持久战》，以纪念‘七·七’。未洗澡已两星期，据说澡堂坏了，擦身换衣服。”
就这样，杨尚昆经受了长达9年的“监护审查”，直到1975年2月9日被“解除监护”。
1978年11月23日，中央专案审查小组向杨尚昆宣布了审查结论：“杨尚昆同志在中央办公厅工作成绩是主要的，曾受林彪、‘四人帮’的诬陷迫害。现已审查清楚，应恢复其党的组织生活，补发在审查期间停发的工资。”但是，这个审查结论留了尾巴。两天以后，11月25日，华国锋在中央工作会议上讲话时说：“杨尚昆同志不顾毛主席的指示和批评，在私录毛主席谈话的问题上犯有错误。经过审查，过去把他定为阴谋反党、里通外国是不对的，应予平反。中央决定，恢复杨尚昆同志的党组织生活，分配工作。”中共十一届三中全会以后，对所谓“秘密录音”问题再次进行审查，直到1980年10月中央才正式发文为原中央办公厅和杨尚昆彻底平反。
“文化大革命”中，中央办公厅的许多干部也因杨尚昆的问题而受到株连。1966年5月《五一六通知》发出以后，中办的一大批干部一夜之间变成了“反党罪人”，中办的工作秩序被打乱。随着运动的不断升级，被诬为杨尚昆的“帮凶”、“爪牙”的人数越来越多，后来又有了一个新名字——“杨家死党”。这些人整天挨批挨斗。田家英更是在被宣布为“反党分子”的第二天含冤辞世。对于这些情况，可以从1966年7月22日中办给中央的报告中窥见一斑。报告指出：“中央办公厅为杨尚昆把持了20年，他一直干着反对主席、反对中央的罪恶活动。已揭露的大量事实证明，不仅原办公厅的领导核心烂掉了（杨和曾、田、龚三个副主任），而且下面几个主要单位的绝大部分领导骨干也烂掉了（如机要室、秘书室、办公厅直属各组、档案局、档案馆、特会室等）。多年来，杨尚昆包庇坏人，招降纳叛，培植了一批反党帮凶和爪牙。到目前为止，办公厅及所属各单位已揪出反党分子曾三、田家英、龚子荣、叶子龙、康一民、吴振英、何均、赖祖烈、裴桐、李欣、逄先知等24人。”
多年后，杨尚昆很少向人提及他被免去中办主任后的这段不愉快的经历。但对于那些因他而受牵连的同志，他并没忘记，他说：“‘文化大革命’我是首当其冲，第一个被整就是了。十年中，很多同志受到我的株连，受尽摧残、折磨，十一届三中全会以后才得到平反，我要向他们表示歉意。幸喜，这些同志今天大多健在。”