隋朝初期，文帝对中央职官和人事制度进行了大刀阔斧的改革，颇见成效，然而，对于豪强势力盘根错节的地方人事，由于它并不立即影响到新政权的生死存亡，所以只能先继承现状，再逐步加以变革。在这种情况下，隋初地方人事和北周时代并没有太大区别。仍处于“刺史多任武将，类不称职”的状态。造成这种情况的主要原因，首先当然是由于对历史现状的直接继承；其次是因为政权甫立，人心未稳，需要加强控制；第三则是由于隋初四面受敌，战争频仍的原因。
地方官员多由武将，勋功、势家之类实力人物担任，这些人文化水平普遍不高，缺乏对地方的责任心和使命感，往往把官职视为自己挣来的酬报，属于私有地盘，因此，不称职的情况自然普遍存在，飞扬跋扈违法乱纪者，也不乏其人。燕荣出自弘农，以军功入仕，历任青，扬、幽州总管，所在任上，选孔武有力者为爪牙，横行州境，如狼似虎。他动辄鞭管部下，凌辱世族，“每巡省管内，闻官人及百姓妻女有美色，辄舍其室而淫之。贪暴放纵日甚”。至于利用职权地位牟取私利的现象就更多了。卢贲担任齐州刺史时，当地发生饥荒，他便利用职权，不许商家卖米，而自己大卖特卖，牟取暴利。韦艺任营州总管，“大治产业，与北夷贸易，家资钜万”。韦伯仁随其叔南宁州（今云南省曲靖市）总管韦冲在府，“掠人之妻，士卒纵暴，边人失望”。张威任青州总管，“颇治产业，遣家奴于民间鬻芦菔根，其奴缘此侵扰百姓”。
开皇初年，文帝按照军功授职的惯例，任命上柱国和干子为杞州刺史。这时，治书侍御史柳彧给文帝上表奏道：“方今天下太平，四海清谧，共治百姓，须任其才。昔汉光武一代明哲，起自布衣，备知情伪，与二十八将披荆棘，定天下，及功成之后，无所职任。伏见诏书，以上柱国和干子为杞州刺史，其人年垂八十，钟鸣漏尽。前任赵州，暗于职务，政由群小，贿赂公行，百姓吁嗟，歌谣满道。乃云：‘老禾不早杀，馀种秽良田。’古人有云：‘耕当问奴，织当问婢。’此言各有所能也。干子弓马武用，是其所长，治民莅职，非其所解。至尊思治，无忘寝兴，如谓优老尚年，自可厚赐金帛，若令刺举，所损殊大。臣死而后已，敢不竭诚。”
在这道表文中，柳彧提出了一个十分重要的问题，那就是不能将政府官职用来酬勋，打天下用武将，但治理天下却必须起用有专长的文官，各尽所能。文帝阅后，十分赞同，当即下令撤销对和干子的任用。其典，文帝对此问题有着自己的看法。平陈之后，贺若弼居功求任宰相时，文帝就明白对高颎说道：“功臣正宜授勋官，不可预朝政”。这应该是其内心思想的表露，只是要改变任用地方官员的惯例，势必触犯众多勋功武将的利益，必须慎重进行。
开皇三年（583年）十一月，文帝在准备对地方行政制度进行重大改革的同时，诏令各地举荐贤才，说道：朕君临区宇，深思治术，欲使生人从化，以德代刑，求草莱之善，旌间里之行。民间情伪，咸欲备闻。……如有文武才用，未为时知，宜以礼发遣，朕将铨擢。其有志节高妙，越等超伦，亦仰使人就加旌异，争一行一善奖劝于人。远近官司，退迩风俗，巨细必纪，还日奏闻。
诏书虽未完全道出文帝的用人思想，但已相当明确地点明以文兴邦的基本原则。在敏感的人事问题上，他实际上是采取少说多做的办法，不但派遣使者到各地明察暗访，自己也借巡察之机亲自发现并提拔大批政绩斐然的地方行政官员，改变官吏队伍的成分结构，大力整顿吏治。各级地方官员是中央政令的具体执行者，在由乱而治的时代，还起到消除地方分裂因素，促进国家深层统一的作用，故其选任是否得当至关重要。对此，文帝“初有天下，励精思政，妙简良能，出为牧宰”，倾注了大量的心血。
文帝有鉴于北周宗室微弱以致灭亡的教训，分别于并州、洛州和益州设置行台尚书省，由晋王广、秦王俊和蜀王秀出掌，监临地方。三位皇子俱年少，文帝为之“盛选贞良有重望者为之僚佐。于时（元）岩与王韶俱以骨鲠知名，物议称二人才具侔于高颎，由是拜岩为益州总管长史。韶为河北遭行台右仆射”，同时任命的还有河北行台兵部尚书李雄，亦是一时之选。上任时，文帝还亲自召见慰勉，他对元岩说：“公宰相大器，今屈辅我儿，如曹参相齐之意也”。对李雄交代道：“吾儿既少，更事未多，”卿兼文武才，今推诚相委，吾无北顾之忧矣“我们知道，在中央集权体制下，任职朝廷者因为接近权力中心而易于升迁，故百官趋之若鹜。现在文帝将朝中”宰相大器的高官派往地方任职，给全国树立一个榜样。考察文帝时代中央高级官员的经历，一般都曾在地方任过职，朝官与外官的双向交流比较频繁，处于良性循环的状态。
如果说行台尚书省为中央派出机构，仅具象征意义，那么，对于真正地方官员的考察选拔，文帝更是不惜余力。开皇元年（581年）十月，文帝巡视岐州，沿途考察吏治。岐州刺史梁彦光有惠政，文帝专门下诏，大加褒奖：赏以劝善，义兼训物。彦光操履平直，识用凝远，布政岐下，威惠在人，廉慎之誉，闻于天下。三载之后，自当迁陟，恐其匮乏，且宜旌善。可赐粟五百斛，物三百段，御伞一枚，庶使有感朕心，日增其美。四海之内，凡曰官人，慕高山而仰止，闻清风而自励。未几，又赐钱五万。
房懿恭原为北齐官员，苏威推荐他担任新丰令（今陕西省临潼县新丰镇），政绩为三辅之最，文帝赐之绢帛，他转分给穷困百姓，文帝再赐之粟米，他又拿去赈济贫民，让文帝赞叹不已，在召见雍州诸县令时，特地把房懿恭唤至座前，访以治术，超授泽州（今山西省晋城市）司马。不久，转德州（今山东省陵县）司马，政绩又再考为全国第一。文帝十分惊异，对诸州进京考核的朝集使说道：“如房懿恭志存体国，爱养我百姓，此乃上天宗庙之所佑助，岂朕寡薄能致之乎？朕即拜为刺史。岂止为一州而已，当夸天下模范之，卿等宜师教也”。号召百官向他学习，同时将他提拔为使持节、海州（今江苏省连云港市海州镇）诸军事、海州刺史。
对于北齐旧属，文帝也能加以甄别，量才叙用。高劢为北齐太尉清河王岳之子，文帝当政后曾对他说：“齐所以亡者，由任邪佞。公父于忠良闻于邻境，宜善自爱”。并因其刚正而任命他为楚州（今江苏省淮安）刺史。以后，陇右遭羌人寇掠，又调他担任洮州刺史，颇能绥抚各族，前后数任，皆称治理。
文帝还留意了解官员的能力特长，默记于胸。贺娄子干长期镇守西部边疆，威名远扬。死后找不到合适的人继任，文帝焦虑道：“榆林国之重镇，安得子干之辈乎？”才过几天，他就亲自物色到新的人选，说道：“吾思可以镇榆林者，莫过杜彦。”杜彦果然不负重托，守边安民，令“北夷畏惮，胡马不敢至塞”。再如，开皇三年（583年）七月，幽州总管李崇出兵抗击突厥，兵败身亡，东北形势顿时吃紧，消息传来，文帝马上想到能继此重任的“无以加周摇者”，立即令他赶赴前线，化解危机。从这些事例都可看出，文帝平索是何等重视吏治，努力做到知人善任。
不仅如此，隋文帝还以严考政绩为纲来黜陟幽明，努力做到“黜陟合理，褒贬无亏。便是进必得贤，退皆不肖”。在这方面，国家的首要任务是确立公平合理的赏罚标准，井尽量确保其不受亲疏爱憎等帮派人为田索的干扰，做不到这一点，则赏罚不公便会使得澄清吏治的所有努力付诸东流，法同虚设。在这方面，文帝确实作出不懈的努力，颇有建树。
开皇六年（586年）二月五日，文帝制刺史上佐每岁暮更入朝，开始实行按政绩黜陟地方官吏的制度。黜幽陟明并非隋朝首创，但是，隋朝确实施行得比较严格，不仅岁末考课的记载频频出现，而且，许多官员的履历可以看到他们确实是通过考绩而得到提拔的。例如，开皇十一年（591年）二月，“以临颍令刘旷治术尤异，擢为莒州刺史”。“仁寿中，上令持节使者巡行州县，察长吏能不，以彦谦为天下第一，超授都州司马”等等。