文帝对中央官制和地方官制进行了天翻地覆、大刀阔斧的改革，必然要侵害到数以万计的贵族官员的利益。要想让国家长治久安，就必须有贤才来治理国家，这就涉及到了如何选拔人才。
在中国历史上，封建统治阶级曾采用过多种方式选拔官员，如：夏、商、周采用的是世袭制。汉朝以“察举”和“征辟”制取代世袭制。但由于掌握选官大权的官僚们注重门第，官官相护、弄虚作假，他不可能到民间“征辟”人才。到最后，“察举”和“征辟”到的人才全是官僚、世家大族的关系户。甚至，推举出来的人是“举秀才，不知书；举孝廉，父别居”，意思是说谁有羌系谁就可以被推荐。所谓“秀才”，可能根本没念过书；而以孝子身份做官的，竟不养自己的父母。从这种情况来看，汉朝的“察举”和“征辟”，也无非是做做表面文章。
魏晋南北朝实行“九品中正制”。中央和地方州县都设置专门的“中正官”，负责号评各地人才的等级，分为“上中下”各品各级，一共九个等级，不同等级的人才出任不同级别的官职。中正官是一个有实权的官，谁上谁下，都靠他决断。世代高官的家族收买了“中正官”，等到考核官员的时候，让中正官给自家的孩子和亲戚评个较高的品级。这样一来就造成了“上品无寒门，下品无世族”的现象。
隋朝开国时，官场选拔人才采用的依然是“九品中正制”。这种不合理的现象首先引起山东世家大族的不满。山东地盘属于原北齐，北齐灭亡后，山东各大家族在北齐当的官就不算数了，他们的地位远不如没什么文化的北周官员和贵族们。后来隋朝建立，文帝任命的官员主要是出身关中的贵族、豪门或武将。一贯以和孔孟同乡自豪的山东土人，书读得多，信奉“学而优则仕”的原则，认为只要具备深厚的儒学根底就理应赢得厚禄高官，因此士人们一直要求按照真才实学选拔官吏。
开皇二年（582年），文帝顺应山东士人的要求，命令选拔“贞良有才望者”担任官职。次年，文帝取消了实行了三百余年的“九品中正制”，废除了各级中正官的职务，朝廷接管选拔官吏的人事权。
开皇七年（587）正月十九日，文帝下令：“制诸州岁贡三人。”隋初举荐人才已不通过中正，现在又进一步固定下来，而且规定为“岁贡”，亦即常举。
各州贡士集中在京城，参加朝廷举行的分科考试。当时比较明确的科目有秀才和明经科。
韦云起“隋开皇中明经举，授符玺直氏”，可知明经科在开皇中业已存在。隋朝事迹可考的秀才，现已知有十一人，分别是李宝、王贞、杜正玄、杜正藏、刘焯、忡孝俊、侯白、杜正伦、许敬宗、赵孝趵、赵构。秀才是传统科目，受到尊崇，隋代亦是如此，杜正玄举秀才，宰相杨素曾说：“周、孔更生，尚不得为秀才”，故“隋代举秀才止十余人”。
进士科在隋朝已经创立，“如侯君集、孙伏伽，皆隋之进士也”。然而，至关重要的进士科设置时间，却意见纷纭。进士科开皇说最直接的证据是《房玄龄碑》所载：“公讳玄龄年十有八，俯从宾贡”，恰与《旧者书·房玄龄传》之“年十八，本州举进士”一致，故清代学者陆增祥指出：“至碑云年十有八，俯从宾贡，言举进士也”。房玄龄七十岁（《新唐书》本传载为七十一岁）死于贞观二十二年（648年），据此推算，则其举进士在平皇十五（595年）或十六年（596年），而碑文稚“州”，恰是文帝时代地方政制，炀帝时改州为“郡”，由此证明隋文帝创置进士科是十分有力的。
“进士科与俊、秀同源异派，所试皆答策而已”，考对策比较切合实际，文帝曾经因为田地不足，均田制实施困难，而将此课题作为策问让四方贡士作答。可知其对官吏的铨选，颇注堪实际能力。
由于进士科是新设科目，所以不如秀才、明经科荣耀。在隋朝，最为显耀的仍是秀才科，开皇十五年（595年）贡举考试，“时海内唯正玄一八应秀才，余常贡者，随例铨注讫”，足可证明。杜正玄敢于应秀才考试，说明地力贡士可以投试不同科目。而且，还说明当时各科并考，则科举制度的雏形已具。
各地贡士会考于京城，贡举及第后，还必须参加吏部诠选考试，合格后方予授官。资格考试与选官考试分离的规定，一直为后世所继承，唐朝还进一步将吏部考试完善为身、育、书、判叫项。开皇三年（583年），中央收回地方官吏的任免权，平陈以后教育与选举制度的发展，又使得中央掌握了人才的培养与官吏的选拔，至此，人事制度方面的中央集权制完全确立。
国家主持人才的考选，则世族把持的九品中正制度成为多余。开皇十五年（595年），文帝下令“罢州县乡官”。文帝废郡时，将主持地方吏选的州都、郡正之流，连同地方官都黜为不理时事的“乡官”，现在又进一步将其废除。中央系统的中正官也在此期相应地废除，自曹魏创屯以来沿用数百年的九品中正制度终于被废除，科举制度成为不可阻挡的历史潮流。当然，开皇时代的选举制度和唐朝发展成熟的科举制度还有所不同，它固然具备了科举制的许多特征及其功能，但仍处在演变之中。北周尚武少文，军人执政，不但“公卿类多武将”，况且，“诸功臣多为本州刺史”。隋朝虽然比较注意官员的文化成分，但其文化取向于实用主义，故有“高祖之世，以刀笔吏类多小人”之讥。故以北周以来铨选的源流考察，文帝废除九品中正制亦属必然。
平陈当年，配合文治政策的实施，文帝任用大世族出身的卢恺主持吏部。卢恺与吏部侍郎薛道衡、陆彦师等人力图扭转隋朝选官不论出身的局面“凡所任人，颇甄别于士庶”，他们得到宰相苏威的暗中支持。但是，其做法毕竟与既存的选举制度相抵触，招来许多非议和不满。开皇十二年（592年）七月，因为修定乐律的争吵，国子博士何妥控告苏威在朝中勾结朋党，事件涉及卢恺，朝中平时对铨选的不满顿时爆发出来，卢恺被罢黜为民，薛道衡配防岭表，牵连百余人，甄别士庶的铨选自是夭折。而真正否定卢恺、薛道衡等人铨选办法的实为隋文帝。
隋朝创立科举考试的初衷是从民间选拔人才，这一考试方式，相对于世袭、举荐等制度，无疑是一种相对公平、公正的方法。给中小地主阶级和平民百姓通过科举入仕提供了一个公平竞争的平台。但是，任何制度都会有人钻空子，隋朝的科举也一样。然而，不管怎样说，文帝这些改革，都具有划时代的意义。
随着各项制度的改革的顺利进行，建造一座新都城，成为隋文帝的构想。
自来汉丧乱以来，长安屡遭兵乱，都城破败。开皇二年（582年），他在营建新都诏书里说：“羲、农以降，至于姬、刘，有当代而屡迁，无革命而不徙”，也就是说，从三皇五帝直至汉代，没有帝王不迁都的。《隋书·礼仪一》记载：“初，帝既受周禅，恐黎元未惬，多说符瑞以耀之。其或造作而进者，不可胜计。”
唐宋时，流传着这样一则故事：长安朝堂，即旧杨兴村，村门大树夸见在。初，周代有异僧，号为枨公，言词恍悔，后多有验。时村人于此树下集言议。枨公忽来遥之曰：“此天子坐处，汝等何故居此。”及隋文帝印位，便有迁都意。其实，他早就看好了一块风水宝地，位于汉都城东南面，属北周京兆万年县，名为龙首山。“南直终南山子午谷，北据渭水，东临沪川，西次沣水”。龙首原上树木挺拔，林荫茂密之间隐然有股王气。
隋文帝连夜找来高颎和苏威，商议迁都大计。但如此则工程浩大，要调发大批劳役和巨额财物，对于建立不久的隋朝并非易事。君臣仔细策划，筹算通宵，却始终没有作出决定。次日，身任门下省通直散骑常侍的术士庾季才叩见，呈上奏文道：臣仰观玄象，俯察图记，龟兆允袭，必有迁都。且尧都平阳，舜都冀土，是知帝王居止，世代不同。且汉营此城，经夸将八百岁，水皆成卤，不甚宜人，愿陛下协天人之心，为迁徙之文帝君臣相顾愕然，半晌，文帝才说道：“是何神也！”
庾季才精通天文地理，善于观察形势。当年就是他断定隋代周越，宜在甲子，结果一切顺利，因此声名大振，跻身门下要职。况且，从天象找依据的，并不是庾季才一人，秘书省掌管天文的太史也赶来奏报：“当有移都之事”。随后德高望重的太师李穆上了一道长长的表文，从天意人望到历史与现实的各个方面，阐述迁都的深刻意义，言词恳切，文帝阅后，动情地说：“天道聪明，已有征应太师民望，复抗此请，则可矣”，迁都大计这才慎重地决定了下来。
开皇二年（582年）六月十八日，朝廷正式下诏，命左仆射高颎、将作大匠刘龙、钜鹿郡公贺娄子干和太府步卿高龙又等人主持营建新都。另外，还任命宇文恺担任营新都副监。到了年底，新都已经初具规模，皇城富阙超出一丈八尺高的城墙，隐约可见。十二月六日，文帝高兴地命名新都为大兴城。
开皇三年（583年）三月，新都落成，前后仅用十个月的时间。三月十八日，文帝黄袍常服，率百官隆重迁入新都。新都东西广十八里一百一十五步，南北长十五里一百七十五步，面积为八十四平方公里。大城东、西、南面各开三座遥相对应的大门，纵横交错的道路，把全城划分成整齐的长方形区块。坐在最北面的宫城大妊殿上往南眺望，中央的昭阳门街把皇城分为左右两部分，栉比安置着各级中央官署；穿出皇城，一百五十多米宽的朱雀门街将大城一分为二，东为大兴县，西为长安县，各领五十四坊以及各占两坊地的东、西市。全城南北共置十三列坊，象征一年十二个月再加闰月；皇城之南，东西排四行坊，象征春夏秋冬四季，每行设九坊，表现《周礼》“王城九逵之制”。整个布局，既巧妙又暗合古礼。
在新都的布局上，“自两汉以后，至于晋、齐、梁、陈，并有人家在富阙之间。隋文帝以为不便于民”，于是在宫城南面创建皇城，安置中央衙署，“不使杂人居止，公私有便，风俗齐肃”，宫城皇城外面，根据高低亲疏的权力关系，布列官僚宅第和寺观，再远的里坊才是百姓的居住区。北面仰望帝居，犹如众星拱极，仔细察看，官署民居各得其所，秩序井然，繁华之中，处处透露森严的等级。从政治角度去构思都城的布局，“实隋文新意也”。