胡耀邦离开团中央，很想在新的岗位上有所作为。在去陕西前，他已经跑了不少地方，了解了许多情况。到陕西后，他又立即下去巡视工作，先后走了十几个县和一些厂矿、学校，多次讲话、作报告，对当时一些“左”的做法有意见。他讲话有思想、有见地，深入浅出，语言生动，很受广大干部群众的欢迎。但是，他讲话不严谨，容易被人抓辫子。
胡耀邦到陕西不久，就向西北局和中央作了题为《走马到职报陕情》的书面报告。报告中提出的几个问题，明显和西北局的看法有分歧。主要是：（一）用数据说明对干部队伍中存在的问题估计过于严重。他说中央五月工作会议后，省委在西北局的督促和帮助下，揭开了省、地、县三级领导核心的盖子。据初步排队，省一级65个厅局，整个烂掉了和问题严重的占70.7％。9个地、市委，问题严重的占77.8％。103个县、市委，整个烂掉了和问题严重的占60.1％。全省有660多个干部受到开除党籍、开除公职的处分。（二）关于怎样对待干部，他说不管我们党混进了多少阶级异己分子，农民和小资产阶级出身的干部还是大多数，他们虽然犯了这样那样的错误，但不能否认他们的大多数人可以改正错误，应当思想批判从严、处理从宽，采取大批处分和清洗的办法，同样是一种右的消极的错误政策。（三）关于农村的阶级斗争，他说我国现时农村出现了不少剥削压迫人民的特权分子，还有这样的一些集团，但还没有形成一个完整的特权阶层。不能说我国农村中已经出现了一个特权富裕阶层。（四）关于陕西的农业生产，他说这几年陕西的农业生产严重落后了。抓生产小手小脚，慢慢腾腾；抓阶级斗争患得患失，忧心忡忡。
1965年2月，胡耀邦到安康地区巡视工作，8天走了7个县，他在讲话中鲜明地提出，春耕大忙在即，干部可以暂时“不洗手洗澡”，先集中力量抓生产。后来他又把处理干部的政策概括为四条：（一）凡属从社教以来处分过重的干部，一律实事求是地减轻下来；（二）凡属停职但尚未处理的干部，一律先放到岗位上去，待问题查清或经过一个时期考验再做结论；（三）凡属以前犯有错误，但已作过交代的干部，不再“洗手洗澡”，只要做好工作，搞好生产，将功补过，就一律既往不咎；（四）从现在起继续干坏事的人，一律从严处理。这四条用《电话通讯》形式，发到各地、县委立即执行。他还明确指出，社会主义革命的根本目的就是发展生产力，只有生产不断发展，才能谈得上大好形势；只有领导群众增了产，才能称得起是忠诚地为人民服务。他宣布，一切领导群众增了产的干部就是好干部。西北局主要领导看到了这个《电话通讯》，立即给胡耀邦打电话，批评他提出的四条不妥。
2月18日，我参加中央工作会议后从北京回到西安。当天，西北局主要领导就向我谈了他对胡耀邦的意见。后来胡耀邦也来找我谈陕西工作情况和他的一些想法。双方不同的意见都向我这里集中，又都希望得到我的支持，由我出面调解。我听了两方面的意见，感到双方思想距离很大，情况也很复杂，不好马上表态。
3月4日，张德生病逝。6日，在西安人民大厦举行公祭，公祭后送遗体去公墓时，我搭乘西北局主要领导的车，在车上同他谈了5日胡耀邦找我谈话的情况，告诉他胡耀邦的态度比较好，承认已发《电话通讯》不妥。从公墓返回时，我改乘胡耀邦的车，又同他交换意见，并告诉他西北局将召开会议讨论《电话通讯》有关问题，并要我届时参加会议。当时，胡耀邦表现精神紧张。
3月11日，西北局开会，先听取胡耀邦关于陕西工作的汇报。胡耀邦说，省委对面上工作的指导思想，主要是考虑到陕西生产落后了，而春耕大忙在即，必须以《二十三条》为武器，调动一切积极因素，迅速投入组织农业生产的高潮中去。因此，有必要把面上的夺权斗争暂时放一下，集中力量抓生产。他承认对处理干部的“四条”事先没有经过省委讨论，也没有请示西北局，从组织原则上讲有错误。会上对胡耀邦进行了批评，指责他只抓生产，不抓阶级斗争；提出几个暂停是惊慌失措，给运动吹了冷风，是指导思想上的倾向性错误等等。会后，胡耀邦立即给我打电话，表示对会上的许多发言不满，提出要到中央去说明情况。我劝他要冷静，听下去再说。会议一直开到3月17日，胡耀邦已心力俱乏，卧病不起了。
3月下旬，胡耀邦的秘书戴云来到牛角大队，带来胡耀邦病中写给西北局的信稿，表示认识到处理干部“四条”是有错误的，但对西北局会议上对他的批评解释得多了一些。我同戴云对信稿逐段进行了讨论，提出了一些修改意见。3月28日至31日，西北局继续开会。会前，我去医院看望了胡耀邦，尽量稳定他的情绪。会议最后一天，我发言指出，《二十三条》下达后，耀邦同志思想有片面性，原因是他看到陕西生产落后，很着急，想用缓和革命形势的办法来促生产，心意是好的。同时他对前一段面上的社教也有些不同的看法，在中央工作会议以后，他错误地认为自己原来的想法是正确的，是符合《二十三条》精神的。是不是说耀邦同志的错误已经成为路线上与中央和西北局对抗呢？我看不能这样说。他有片面性，有摇摆，但不能说他有与中央平行的路线。在革命与生产问题的关系上，他的认识是正确的。今后怎么办？耀邦同志应该在省委会议上作个检查。耀邦同志的信，写得是好的，态度是诚恳的，就根据这封信的认识水平作检查，既不夸大，也不缩小。从现在起，到省委开会之前，大家都不要再议论这个问题了。省委的同志要抖擞精神，挺起腰杆工作。最后，会议宣布胡耀邦已对他的错误作了检查，省委决定停止执行对干部的“四条”，问题初步解决，就结束了。
4月29日，我去陕南看了面上的“四清”情况后回到西安。这时，胡耀邦的身体尚未恢复，陕西省委的会议也还未召开。我请西北局主要领导考虑，胡耀邦仍在病中，目前农事正忙，召开大规模的省委扩大会议是否合适？可否推迟到夏收后再召开？西北局主要领导表示可以考虑。随后我又去看望胡耀邦，胡耀邦的情绪仍然很激动。他们二人不直接交谈，我夹在他们中间也很为难。我只好对胡耀邦说，要慢慢进入角色，要保持高姿态；又对另一方说，要注意班子的团结，不要影响工作。
关于双方之间的争论，我在电话中报告了彭真。彭真的意见是西北局的会议不要再开了，互相有意见让他们直接见面解决。我从陕西回到北京后，又分别向邓小平、彭真汇报了陕西的情况。对双方的争论，小平同志主张等一下，看看再说，不必急。小平同志知道，当时毛泽东对下面的“四清”运动并不满意，有关争论的是非也很难说清楚。
事过境迁，30余年后，杨尚昆怎么看待这场争论呢？他说：
现在看来，胡耀邦大体是正确的。胡耀邦对1964年下半年全国各地“四清”运动中“左”的做法本来就有看法。到陕西后，对面上“四清”搞夺权斗争，乱批乱斗，处理过重，致使干部情绪消极，严重影响生产，他心情十分着急。他提出四条纠偏措施用心是好的，只是做法急了些，组织程序也不周全，自然会遭到西北局领导的反对。当然，胡耀邦上台伊始，说话不够谨慎，轻率表态，也容易引起别人对他不满。在这个问题上，我能够做的，只能是尽量缓冲当时他们的紧张关系，稳住大局，别无良策。
《二十三条》矛头指向刘少奇
刘少奇对毛泽东历来是十分尊重的。但是，在指导“四清”运动中，通过一些具体问题，毛、刘之间逐渐产生了裂痕。这是“四清”运动中的一件大事，对“文化大革命”的爆发有直接的影响。杨尚昆对这件事有比较深入的了解，他和我们简要地谈了谈这方面的情况。