1945年10月至1965年11月，杨尚昆在中央办公厅主任的岗位上干了20年。杨尚昆曾说：“中央办公厅是中央的办事机构，掌握党的全部机密，把我放在这个位子上，体现了毛泽东对我的信任。”然而，1965年11月10日，杨尚昆突然被免去中办主任职务。同一天，上海《文汇报》发表了姚文元的《评新编历史剧海瑞罢官》一文，“文化大革命”拉开序幕，中办首当其冲，杨尚昆成为第一个“牺牲品”。
突遭撤职
杨尚昆自1945年10月接替李富春担任中央书记处办公厅主任，在中办主任岗位上默默耕耘了20载。如杨尚昆所说：“一个干部固定在一个岗位上这么久是罕见的，对我个人来说，这20年也是一生中最重要的时期，从38岁到58岁，正是精力旺盛，多少也积累了一点经验，是干工作的最好时期。”
在任中办主任20年中，杨尚昆也曾几次向毛泽东提出调换工作问题。如1958年中办秘书室“黑旗事件”（所谓“黑旗事件”，指1957年至1958年中办秘书室在整风反右运动中，围绕该室负责人应否划为右派问题发生了争论。江青出于不可告人的目的，偏袒一方，把此情况反映给毛泽东，说中直机关党委在中办秘书室整风运动中压制了“左派”，插了“黑旗”，故称“黑旗事件”。在这次事件中，许多同志受到诬陷或株连。中直机关党委和中南海总支的一大批同志受到党纪处分；秘书室受党纪处分和被定为“思想右倾”、“立场不稳”的占该室总人数的60％。为此，杨尚昆请求处分并辞去中直机关党委书记职务，毛泽东未准。中共十一届三中全会以后，在“黑旗事件”中受诬陷或株连的同志全部得到平反——作者注）后，他就曾经正式向毛泽东辞职，说他在办公厅这么多年，工作也没有搞好，想出去做点别的工作。毛泽东连说：“不行，不行。”毛泽东问杨尚昆：“你不当办公厅主任，让谁当啊?”杨尚昆向他推荐了胡乔木，毛泽东又连说：“他不行，他不行。”以后胡乔木知道了这件事，也对杨尚昆说，他当不了办公厅主任。杨尚昆说自己实在是想脱身啊。
但是，1965年11月中央免去杨尚昆中办主任的职务却又很突然。11月5日，彭真通知杨尚昆：中央决定调他去广东工作，任广东省委书记处书记；汪东兴任中办主任。对此，杨尚昆后来回忆说：“我虽早有预感要被撤职，但来得这么突然，确实茫茫然。”11月8日，杨尚昆向汪东兴和当时在京的中办副主任曾三、田家英、李质忠交代了工作。次日，杨尚昆写信给毛泽东，说自己在中办工作了20年，没有把工作做好，辜负了毛主席和中央同志的期望，心情很沉重，也很惭愧，感谢毛主席和中央这次给他到实际工作中去锻炼和改造的机会，今后一定尽自己的努力，全心全意地把党分配的工作做好。在去广州之前，如果毛主席有空，很希望见见主席，得到主席的批评、指示。第二天，毛泽东接见了杨尚昆。毛泽东说：“你办公厅的工作做得不错嘛!你有什么错误?没有错误。你下去工作一个时期锻炼锻炼好嘛。”毛泽东还给杨尚昆布置了两个调查研究的任务：一是，看中央和国务院有什么不适合于当地情况的政策、措施，可以写个报告，提点意见；二是，各条条下达了一些什么东西，同中央和国务院相矛盾的帮助理顺一下。毛泽东还对杨尚昆说，广东那么热，你到那里去干什么?现在既然已经决定了，你去两年到三年，把这个任务完成。先在珠江流域，以后把你调到黄河流域搞个两三年，主要是了解党政机关是不是按照中央精神结合本地实际来进行工作的，更主要的是条条下达的任务是不是互相打架。杨尚昆对毛泽东说，这个任务是一个很大的任务，可能完成不了，但会努力去做。从毛泽东处回来，田家英问杨尚昆和毛主席谈了些什么，杨尚昆如实告之，田家英听后说糟糕。他对杨尚昆说，如果毛主席狠狠地骂你一顿就好了，就没问题了。毛主席这样敷衍你，问题就大了。那时，杨尚昆也已预感到要出事，但他万万没有想到会很快在全国范围内搞起“文化大革命”这么一场政治风暴。所以，他对曾三说：“曾三同志呀，这一刀砍下来先砍到我，你们也要准备挨整就是了。”11月9日，杨尚昆去周总理处谈话，对周总理说：“我在中央办公厅20年，虽然工作没有做好，但是没有做过反党的事情，也没有做过有损中央威信的事情。你是最了解我的，将来有可能被开除党籍，如果有一天真的开除我的党籍，我也没有办法，但这是冤枉的，只要你了解我，我心里就踏实了。”周总理要杨尚昆放心，说不会那样，要他下去以后好好地工作，不要背什么包袱。最后，周总理一直送杨尚昆走出西花厅，才依依惜别。但杨尚昆万万没有想到，这是他最后一次同周总理会面。
12月10日晚，杨尚昆乘坐中央警卫局为他挂的一节公务车离京赴广州。我和赵宇田作为杨尚昆身边工作人员随行。搭车去广州的有中央调查部副部长刘志汉和周梅英、赵仲实，加上列车员王景仁、刘满容共8人。当时，几位中央政治局常委都到上海参加毛泽东在那里召开的政治局常委扩大会议。杨尚昆离京时，到车站送行的只有中央组织部李楚离、乔明甫两位副部长和警卫局副局长田畴。中办的同志和其他好友由于杨尚昆事先打了招呼，不让他们送行，所以当时的场面异常冷清。11日晚，火车到达长沙，由于前方列车发生事故，湖南省委书记李瑞山把杨尚昆等人接到省委蓉园招待所休息。12日，杨尚昆等人到韶山参观了毛泽东故居。当晚，正在浏阳指导“四清”运动的湖南省委第一书记张平化赶回长沙和杨尚昆见了面。13日下午，杨尚昆等人到达广州，暂住广东省委小岛招待所4号楼。杨尚昆到广州三天以后，陶铸从上海开完政治局常委扩大会议回到广州，从他那里杨尚昆得知罗瑞卿出了问题。
杨尚昆后来回忆说：“毛泽东找我谈话的那一天，正是上海《文汇报》发表姚文元的文章《评新编历史剧海瑞罢官》的日子，文章实际上传达了毛泽东准备发动一场‘文化大革命’的信号。也正是这一天，中央免去了我的中央办公厅主任的职务。”“如此巧合!”对于被撤职的原因，杨尚昆说：“毛泽东认为我是教条主义者，又和彭德怀的关系密切，如果不撤掉我的中央办公厅主任职务，我将成为他发动‘文化大革命’的绊脚石。所以，他首先拿我开刀。”