隆庆初年，内阁共有六人：徐阶、李春芳、高拱、郭朴、陈以勤和张居正。在这六人中，形成了颇为有趣的局面。
从彼此的师承关系上，李春芳和张居正都是嘉靖二十六年进士，是同门；录取他们的老师是徐阶和陈以勤；而老三高拱和老四郭朴则是同乡兼死党。在和皇帝的关系上，高拱、陈以勤和张居正都曾担任隆庆皇帝的老师，而徐阶和张居正则是在先帝遗诏中确定皇帝地位的人。
在彼此的斗争阵营上，李春芳和陈以勤中立，高拱和郭朴抱团对抗首辅徐阶，而张居正，不管有意无意，应该算老大一边的干将。
这些才能卓越的人如果齐心协力，那真是大明朝之福，可惜，人总是有贪欲的。为了追求世界上最宝贵的权位，这些精英们，也主动或被迫的陷入斗争风波之中。
老谋深算的徐阶还没等到高拱坐稳，就想先下手为强，找个机会把他踢出内阁。但他又不愿意直接出面，便把自己提拔的一些下属推到前台。一时间，本来是新皇帝上任的整顿吏治，变成了徐阶和高拱的党同伐异之争。徐高二人虽然同在一朝皇帝身边做官，但性格嗜好各方面差异极大，政见也颇不相同。高拱比较传统，自称儒官，抱着四书五经的教条死不放手，对于明朝的朝政，他的看法是法令不行祖制被变所致，所以强烈要求加大严刑苛法，主张复古。而徐阶则学历较浅，不愿深究典故，只注重解决现实问题，对程朱理学尤其是刚刚兴起的王氏心学情有独钟，以他为代表的大部分官员都侧重随时应变，主张从改革吏治开始革新变法。由于政见不一，而眼前问题又日渐深重，北方骚扰不断，南方倭寇常来，不管是谁都想马上独揽大权快速执行决策。这就进一步加剧了徐高二人争斗的激烈程度。
首先向高拱发难的是徐阶的老乡吏科给事中胡应嘉，声称高拱不贤不孝，嘉靖皇帝病危期间，他不顾皇帝安危自己忙着搬家。高拱无话可说，难以辩驳。但他树大根深，胡应嘉一般的弹劾丝毫撼动不了他的位置。但这也使他加强了警惕，马上着手拉拢自己一边的人对徐阶进行反攻。平时深居裕王府远离朝政的高拱，远没有早就做了礼部尚书，在官场混了很久的徐阶的人脉多。为了增强自己的支持力量，他精心抛出了一个南北之争的口号，声称徐阶是南方人，号召北方的官员站在他这一边。
终于，机会来了，六年一次的京察马上开始了。高拱乘机联合主持京察的吏部尚书杨博，降黜了很多偏向徐阶一边的御史和给事中，而且这些人大多是南方人，自己的同乡没有一个被贬黜的。这使得其他御史和给事中都很不满，此时胡应嘉又一次站出来，上疏弹劾杨博，说他包庇乡里，办事不公。
京察是明朝考核官员的一种制度，考察对象是五品以下的官员，主要由吏部会同都察院及各堂上掌印官共同考察。这个考察结果是要进入史书的，喜好名誉的官员们很重视这个。谁要是受到察典被记入“黑名单”，那将是终身的耻辱。而五品及以上的官员全都由本人自己述职，由皇帝决定去留。同时，各科给事中可以提出对这些官员的举报，称“京察遗拾”。也就是在考察下品官员的时候也注意找一些上品官员的把柄，并把它们交给皇帝作为考核这些官员的参考。和一般的大臣之间的弹劾不一样，“京察遗拾”并不负余外的责任，也就是所述并非事实时皇帝并不追究责任。但如果并非属实或皇帝没有采纳，总之一旦言官们的“京察遗拾”没有发挥作用，他们可就得罪那些五品以上的大官了，自己的日子也不会好过。所以，这一招一般的各科给事中都是不会轻易使用的。党同伐异之风特别严重的明朝官场使用最多的手段还是弹劾，但为了防止过度争执，明朝法律规定如果弹劾无效，提出弹劾者就要接受廷杖处罚。就是同意大家互相告状，但如果谁诬告了对方就要当庭被打屁股。这种惩罚措施是用于对名誉极度重视的群体的，只有在古代特别讲究名声面子的官场才能发挥效应。
杨博是吏部尚书，吏部受吏科的牵制是既定的规矩，也是吏科的职责，胡应嘉有权干涉并向皇帝禀报杨博的任何行为。但是，既然杨博早有包庇乡里的嫌疑，作为监督他的人，你胡应嘉为何早不向皇帝禀报呢？为何等着奖罚措施已经出来了才说杨博办事不公？到底是另有图谋还是你自己的失职？胡应嘉万万没想到自己的这一弹劾不仅对杨博及高拱的党羽没什么损失，倒把自己给套到里面进退维谷。这也引起了刚刚主政的明穆宗的警觉，他亲自参与此事并授权让内阁处理这个问题。
这次高拱紧抓时机，暗中鼓动他的同乡郭朴对胡应嘉进行弹劾，声称胡应嘉身为吏科给事中，却不守规矩，没起到监视的作用，还想利用自己的权力党同伐异。这根本就是对皇上的不忠，应当革职查办。而以胡应嘉为代表的各科给事中，在明朝的官制中虽然没有实权，但却起着主导舆论的作用，号称言官，一言可以更替兴废。平时的京察从来不会贬黜言官，而杨博这次却打破了这个潜规则。他帮了高拱，惹了胡应嘉，给了他们一个下马威，也就等于招惹了这一群人。
徐阶乘势策动其他的御史和给事中，对高拱进行反击。于是，兵部给事中欧阳一敬首先上疏弹劾高拱，说他是一个奸险之徒，不能容人。这件弹劾案无疑与胡应嘉弹劾杨博一样，让一心想掌管朝政大权的穆宗很是恼火。他让徐阶负责处理此事。为了表明自己并没有拉帮结派，徐阶马上将自己的门生胡应嘉调离北京，发配到地方上去任职。
这样一来，不仅胡应嘉没有被革职，高拱还要面对欧阳一敬等一伙人的继续弹劾。高拱也很是恼火，又使劲反驳。徐阶此时左右为难，弄不好自己不仅赶不走高拱，反倒有可能被想自己主导政权的穆宗给发配回家。他赶忙一边安抚高拱，同时斥责言官希望他们适可而止。但高拱却不满意，他坚决要求把诬告自己的言官进行廷杖。老谋深算的徐阶知道言官们的厉害，他当然不愿为了高拱的面子而得罪言官，于是坚决拒绝将弹劾高拱的言官进行廷杖。这使得作为皇帝老师的高拱觉得很没面子，而且穆宗也感觉很不是滋味，自己做皇帝，却要看着自己的老师被言官们弹劾诬告。高拱正是看着有皇帝撑腰，于是又发动自己手下的御史齐康上疏弹劾徐阶。这引起了被徐阶护佑的那些言官的愤怒，他们又一起出动，痛斥高拱借着资格，要独断专权把皇帝架空。
为了避免朋党嫌疑，北京的言官不好直接告高拱的黑状。他们借着平时的文友诗社关系，拉出了南京的言官，联名给高拱来了个“京察遗拾”的处分。因为明朝实行南北两都的制度，在南京也有同样的一套朝廷班子，这边的人一般是些闲职，对北京起监察作用，大多是被贬职但因资历老，不能贬得太低就放到南京来了。所以，他们从来不怕得罪人。只要需要，他们对谁都可以提出“京察遗拾”。
迫不得已，高拱只好称病辞官，回家休整。但他并没有忘记和徐阶的恩怨。在回家之后，他注重与南京的官员来往，正好发现海瑞在应天府的任上，而应天府管辖徐阶的老家松江。徐阶虽然做官清明，但他的儿子在民间为非作歹，而且徐阶自身也囤积了大量土地。高拱搜罗了好多证据后，又准备让海瑞弹劾徐阶。
没过多久，还没等到高拱弹劾，徐阶就主动请求退休。隆庆二年（1568），徐阶66岁，也该休息了。
从表面来看，徐阶之所以退出，是因为他得罪了宫中的太监，因此被进了谗言，恰好这时，又遭到言官的弹劾，所以下野。
然而从深层次看，以徐阶的势力，已经斗倒严嵩，赶走高拱，还有张居正为羽翼。他真要是想继续干，仅凭个把小小言官，岂能撼动他？
所以，其实徐阶的退休不是被逼迫的，而是自愿的选择。经过数十年的朝廷生涯，他已经疲惫不堪，想找个地方好好养老。
之前的历任首辅们，张璁被夏言赶下台，夏言被严嵩杀掉，严嵩落到徐阶手里，儿子被杀，自己最后贫穷冻饿而死。
一个比一个凄惨。
而徐阶在他的任上，除掉了奸臣严嵩。除此之外没有害更多的人。国政也整顿得像样了，尤其的，还提拔了一位如此优秀的学生。
到了这一步，还有什么不知足的？
正巧，给事中张齐来了这篇不痛不痒的弹劾。于是徐阶就坡下驴，带着满足的笑容，准备急流勇退。
在京城的最后日子里，徐阶经常会见张居正。虽然这个学生已经完全独立和成熟，徐阶还是谆谆教导。张居正也完全明白老师的苦心。
张居正对老师徐阶，自然是感恩戴德。在他的许多书文中，都反复强调徐阶对自己的教诲和提携之恩，表示没齿难忘。
徐阶最需要的，不是你多么感恩戴德，而是你继承他的志向，把明帝国建设强大。
老师徐阶走了。带着功成名就的满足，轻身而退。
张居正百感交集。他既佩服老师的举重若轻，又为老师的离去，略带上一丝怅然若失。
不过这些都是次要的。最根本的是，现在该轮到他大展拳脚了。