通过立限考成，使每个官员都有了明确的职守，这样管理起来自然方便多了。张居正以推行考成法为中心，决心使腐败到极点的吏治得以整顿，使腐败之风得以改变。
张居正依据立限考成的三本账，严格控制着从中央到地方的各级官员。每逢考核地方官的“大计”之年，张居正便强调，要把那些秉公办事、实心为民的官员列为上考，把那些专靠花言巧语骗取信任的官员列为下考，对于那些吃粮不管事的冗官，尽行裁革。万历八年（1580年），张居正下令撤去了苏松地区擅自添设的管粮参政，并责成吏部检查各省添设官员人数，核实上报。万历九年（1581），一次裁革冗员（闲散官员）169名。在他当政期间，裁革的冗员约占官吏总数的十分之三。与此同时，张居正又广泛搜罗人才，把那些拥护改革、政绩卓著的官员，提拔上来，委以重任，信而用之。万历四年（1576）十月，万历帝审阅了关于山东昌邑知县孙凤鸣贪赃枉法的报告后，问张居正：孙凤鸣进士出身，为何这样放肆呢？张居正说：“孙凤鸣正是凭借他进士出身的资历，才敢这样放肆，以后我们用人，应当视其才干，不必问其资历。”皇帝赞同了他的意见。这样，张居正以圣旨作依据，彻底打破了论资排辈的传统偏见，不拘出身和资历，大胆起用人才。他主张用人时要“论其才，考其素”，即对才能和品德进行全面考察。同时，他又注意到每个人的长处和短处，用其所长，避其所短，被他选中的文武官员都在改革中发挥了骨干作用。
对于因工作政绩而被赏罚的官员，无论是升迁或是被革职，他们都是心服口服的，因为有考成法在，立限考成，一目了然。可是对于朝廷上下滥用职权、以权谋私、行贿受贿等问题，却很难判断是非，尤其是难以公平处理。有些官员大量侵吞国家财产，欺压百姓，但因政绩突出，甚至还会被升迁。
面对此种现象，张居正觉得有必要针对具体问题，制定出行之有效的办法，彻底打击这股腐败风。
正在张居正着手制定新法规的时候，忽然接到了吕调阳送来的奏本。张居正一看，原来山东布政司，报告孔圣人后代“衍圣公”每借进京相觑之名，沿途骚扰各路驿站，苛派强索，百端生事，且夹带走私，交通沿线深以为苦，提请朝廷务必出一万全之策予以制止。
张居正看后，面色阴沉，坐立不安。这件事非常紧急，却又非常棘手，这也正是他近日在反复思考的问题。这件事的处理，有关国家体制，弄得不好就要伤筋动骨。此事看起来似是圣人之后德行不佳，实则牵扯驿递制度久成因循，给不法之徒以可乘之机，必从根本上治理才行。
吕调阳得知张居正的心思后，忙说：“我查过《太祖实录》，有关驿递的规定异常严密，非有军国大事没有使用的权利，即使公、侯、驸马、都督奉命出行，也只准随带从人一名。《实录》还记载吉安侯陆仲亨从陕西回京，擅行使用驿站车马，被太祖知道后，痛责他不念民间疾苦，胡作非为哩！”
“对！此典故我也多次与圣上提到过！”张居正没料到吕调阳倒预先有过一番深思熟虑，不觉拍手叫好。“可是，毕竟已经时过境迁啦！”张居正又忧愁起来。
是啊，太祖时代毕竟早已过去了。当年，够资格使用驿站的标准只有6条，而现在呢，竟已扩充到50条之多，且条条都有勘合（类似今天的护照、签证），京师勘合由兵部发出，其余由各地巡抚和巡按发出，发只管发，从无缴还期限，一张勘合，几成终身之用，更可转赠他人，以作人情。如此一来，驿递各线深受其害，领用勘合之人到得驿站，如同拿了尚方宝剑，百般索取，全都无偿征用，尽入私囊……所有这些，张居正早就了然于心，只是未想出什么好办法来。
吕调阳见张居正愁眉紧锁，以为他顾虑太多，有些急不可耐，冲口说道：“这送上门的机会不利用，首辅更待何时？”
张居正不由得一怔，他望望吕调阳一副跃跃欲试的样子，不觉为他日渐进取的气概而暗暗吃惊，“足下之意莫非是要我拿衍圣公来开刀？”
“一不做，二不休，此举定能震慑四方！”吕调阳信心十足。张居正满意地点点头。
张居正低头认真思索了一会儿，眼睛一亮，拿定主意，便又问吕调阳：“照旧例，圣人后代该是九月进京朝觐吧？”
“是的。”吕调阳点点头。
“好！我们务必赶在此之前，草拟一项驿递新规颁告天下，令各路驿站着即执行。”张居正下定决心，以驿递新规为契机，彻底整顿腐败现象。
“对对对，有考成法作后盾，驿递新规当可畅通无阻；赶在九月之前即刻颁下，又可令衍圣公之流自入瓮中。”吕调阳摇头晃脑品评一番，越品越有滋味，不禁畅怀大笑起来。
张居正经过深思熟虑，反复推敲，又参考了明太祖时的条规，终于制定出一部新的驿递新规来。
正值此时，吏部尚书杨博患病，他怕自己病难痊愈，一旦不测，不能叶落归根，又恐多扰张居正，索性写下辞呈，请求回老家山西蒲州调理。
张居正接到司礼监转来的这份辞呈，心中很是不安，急匆匆来到杨博家看望他。张居正想劝杨博留下来继续协助他改革，但看到杨博这副病态，又不忍心强劝他留下。张居正哽咽着说：“居正受命于多事之秋，才疏学浅，勉为其难。幸得杨兄多方关照，且身体力行，为居正分忧解难，每思于此，实难舍杨兄……唉，这也是居正缘分太浅呐！”
杨博费力地摆摆手：“首辅言重了。博一老朽，官场一生，空负圣恩。惟晚年知遇首辅，也算做了几件有益之事，博平生足矣！还望首辅百尺竿头，更进一步，锐意进取，以图中兴大业！”
张居正感激地连连点头：“杨兄所嘱，居正铭记在心。”
两人叹息了一会儿，杨博又问起驿递新规的事，张居正告诉他只待颁诏了。杨博听后，忘了自己是大病之人，执意要听听条款细目。张居正无奈，只好细细陈述一番。其内容大致是：
凡官员人等非奉公差，不许借行勘合；非系军务，不许擅用金鼓旗号，虽系公差人员，若轿扛夫马超出本数者，不问是何衙门，俱不许差派。凡经过官员有勘合者，除本官额编门皂量行带用仆，不许分外又在里甲派取长行夫马。凡经持勘合自京往外省者，由兵部给内勘合。其中仍须回京者，回京之日缴还勘合；无须回京者，即将该勘合缴所到省分抚、按衙门，年终一并缴回兵部。自外省入京者由抚、按衙门给外勘合，至京之后，一并缴部。凡内外各官丁忧、起复、给由、升转、改调、到任等项，俱不给勘合，不许驰驿……
当张居正陈述到“凡内外各官”这一条时，猛想起杨博即刻要致仕回故里，正应着不能给驿的禁令，不觉有些窘迫，便止住不往下说了。杨博情知有故，偏不住地催他，张居正只得吞吞吐吐继续念完。杨博仔细听完了，微微颔首称善说：“很好。想驿弊一除，不惟使弄权之人收性，更可解百姓之苦也！”他顿了顿，长长吁了一口气，转而面带笑容，不无高兴地说：“此一来，博有幸能成为第一个执行新规的人了。”
张居正忙说：“不，不，杨兄可另作他论……”
杨博很坚决地摇了摇头说：“首辅不必再劝，博早已作安排，三天前家人即已雇好牛车，只待请行了。”
“那如何使得？杨兄病体，怎经得牛车长行颠沛？再说，新规尚未颁下，杨兄完全可以暂循旧例呀！”
杨博仍旧摇摇头说：“新规虽未颁布，可满朝谁不知首辅正整治驿递？不能正己，焉能正人？值此紧要关头，我不能让首辅为难，就让我效最后一次力吧！”
张居正非常感动，他紧紧地握住杨博的手，再也说不出什么来了，他胸中奔涌着一阵阵激情。多好的大臣啊！如朝中官员均如杨大人这般，何愁腐败不除，何愁国家不兴？
从杨府出来后，张居正更加坚定了他改革驿递的决心，他要立刻请求皇上下诏施行。
驿递新规颁发后，混乱不堪的驿站得到大大改观，许多人立刻收敛了自己的行为，不敢再滥用职权，违法强索驿站财物了。但是有些官员却不以为然，依然我行我素，滥用驿站车马，万历五年（1577）正月，张居正开始对违制使用驿站的官员进行严惩，处罚了不少违纪官员。据《明实录》和《国榷》记载，万历八年（1580）五至十二月八个月中，违制使用驿站受处罚者达30人之多。其中革职者7人，降6级者11人，降3级者8人，降1级者3人，降职者1人。张居正的弟弟张居敬，由京回乡，保定巡抚主动发给勘合使用驿站，张居正得知后，除令其弟交回勘合外，又对保定巡抚进行了严厉批评。
这样，经过张居正整顿，改变了长期以来无法改变的滥发勘合、滥用驿站的混乱状态。既保证了军国要务的畅通，又节省了大量开支。
在整顿吏治过程中，张居正针对法纪废弛，君令无威的状况，把执法与尊君联系起来，以伸张法纪为中心进行整顿。辽王朱宪原是他的少年朋友，朱宪长大后在江陵一带横行不法，民愤极大，地方官无人敢过问。朝廷派人去调查，由于他百般阻挠，公开抗拒，致使调查人员不敢如实报告他的不法行为。张居正得知后，毅然亲自抓这个案子，他秉公执法，不徇私情，毫不心慈手软，将朱宪废为庶人，终于为江陵除了一霸。当时，权势极大的太监冯保的侄子冯邦宁，也凭借其叔父的权势，狐假虎威，横行不法，鱼肉乡里，醉打衙门官吏，严重触犯刑律。张居正一面派人向冯保说明情况，一面将冯邦宁杖打四十，革职待罪。由于他雷厉风行地伸张法纪，有力地抑制了各种违法犯罪活动，保证了朝廷的安定团结，官员的清正廉洁，人民群众也能安居乐业，过着和平安宁的生活。