隋文帝在灭陈统一全国之后，于开皇十年（公元590年）对军事制度也进行了改革。之所以在这时候改革军事制度，隋文帝是有周到考虑的。因为在此之前要全力准备、加强军事力量，完成统一全国的大业，不便匆忙改革军制，影响统一活动的顺利进行。现在国家统一，隋文帝一则要销兵重农，安定天下，另一方面，也确实有必要对西魏以来的府兵制作一切合实际的变革。
府兵制度起于西魏，在此之前，府兵泛指军府之兵。北魏在六镇起义之后不久，分为东西两部分，为与东魏抗衡，西魏权臣宇文泰在大统八年（公元542年）将流入关中地区的六镇军人和原在关中的鲜卑诸部之人，编为六军。大统九年，西魏与东魏大战，西魏在邙山战败，损失巨大。为补充和扩大军队，宇文泰就不断收编关陇豪右、乡兵、部曲，由当州的豪望为乡帅，进行带领。大统十六年，宇文泰建立起八柱国、十二大将军、二十四开府（即军）的府兵组织系统。府兵最高领导是八柱国，它是模仿鲜卑拓拔八部而设。八柱国中，宇文泰为全军统帅，宗室元欣仅挂虚名，另外六个柱国分统府兵，与周官六军之制相符。至西魏恭帝元年（公元554年），又按北魏早期所属大小部落姓氏，赐姓诸将，所统兵士，改从主将之姓。可见府兵制在这时有着浓厚的鲜卑部落兵制的色彩。
北周武帝在建德二年（公元573年）、三年时，为加强对府兵的控制，改府兵军士为“侍官”。这就是说，全国的府兵，都是皇帝的侍卫，成为皇帝的亲军，而不再隶于柱国。同时，又广泛招募汉人入军，免其课役。一人充当府兵，全家都入军籍，不隶州县。在城的军人，置军坊，在乡者为乡团，由所置之坊主、团主进行统领。
从西魏、北周府兵的情况可知，这两个时期，府兵带有鲜卑部落兵制的色彩，虽已开始吸收汉人入军籍，而未改变其鲜卑之姓，其鲜卑部落兵制的色彩依然很浓，还多少带有一些私人武装的性质；另一方面是军民分籍，兵农各不相关。从发展趋势上看，随着中央集权的加强，皇帝对府兵的控制逐渐强化。
杨坚在辅政之初，便力图抹去府兵的鲜卑部落兵制的色彩，他在大定元年（公元581年）二月，取代北周前夕，便“令日已前赐姓，皆复其旧”。这样，不仅淡化了鲜卑部落兵制的色彩，而且也使府兵的私家军事组织的性质更进一步削弱了。它有力地制止了整个鲜卑族在汉化方面的倒退。开皇十年，全国统一已经实现并得到巩固，于是，隋文帝下诏对府兵制度进行了大幅度的改革，其诏曰：
魏末丧乱，宇县瓜分，役车岁动，未遑休息。兵士军人，权置坊府，南征北伐，居处无定。家无完堵，地罕包桑，恒为流寓之人，竟无乡里之号。朕甚愍之。凡是军人，可悉属州县，垦田籍帐，一与民同。军府统领，宜依旧式。罢山东、河南及北方缘边之地新置军府。隋文帝这道诏书，是府兵制度改革的重要里程碑。首先，诏书指明改革府兵的时机成熟了。魏末以来，国家处于分裂状态，军事活动频繁。西魏、北周设立府兵之制，兵士没有固定居处。军士与百姓是分离的，士兵生活很苦，其家庭也遭受众多苦难，常常流离，没有固定的乡里。现在，不仅北方早已结束了分裂状况，而且南北合一，可说是天下太平，四海一家，已到了改变这种状况的时候了。
其次，兵农合一。隋文帝对府兵制度的改革，最关键的是：军人悉属州县，恳田籍帐，一与民同。军籍与民籍统一，军人的户籍、计账，与民户一样，隶属于州县，不再实行军民分籍的办法，士兵可同百姓一样，在均田制度之下，获得分额土地，进行农业生产。这样，不仅军民在隶属州县上没有区别了，而且兵农结合起来了，士兵也要从事农业生产，大大改变了原来鲜卑部落兵制的性质。原来由鲜卑人当兵作战，汉人从事农业生产，自然使民族隔阂加深。现在，诏书解决了这个问题。这是统一国家所要求的。在一个帝国之内，民族之间依然严重对立，是不能允许的，因为这会大大削弱帝国力量和破坏国家的统一。经过改革，府兵制度下的士兵，有田地、有户籍，生活有了保障，他们定居了下来，这对于社会的安定、国家的统一，都是大有好处的。
第三，一个国家不能没有军队，统一国家需要强有力的军队抵御外来侵犯，防范内部的反抗，以维护国家的统一和巩固统治。所以，隋文帝改革府兵制度的时候，十分注意不削弱府兵的力量。军府统领，宜依旧式，就是不改变统领府兵的方式。隋朝政府在中央设置了十二卫，它们是：左右翊卫、左右骁骑卫、左右武卫、左右屯卫、左右禦卫、左右候卫，由各卫的大将军统领。地方上有鹰扬府，分属十二卫。这样也就将府兵的统率权进一步集中到中央，大将军向皇帝负责，兵权也就集中到了皇帝手中。这样的改革无疑是加强了隋朝中央对武装力量的控制。由此可见，隋文帝对府兵制度的改革，其基本立足点是加强而不是削弱国家的军事力量。
第四，罢去山东、河南以及北方边缘地区新设置的军府。国家统一之后，隋文帝要消除混乱的局面。山东、河南及北方，在长期的变动混乱之中形成的军事机构，往往为反叛中央的势力所利用，隋文帝亲身体验过这种反叛。他刚当丞相辅政之时，山东就爆发过尉迟迥的反抗。现在罢去山东、河南及北边新置军府，从而使军事力量对比的天平更加倾向中央所在的关中地区，这是统一国家在军事上的需要，亦即造成内重外轻的局面。这样做，有利于消除以往北方混乱的军事形势所造成的动荡局面，有利于社会的安定。内重外轻局面的形成，中央实力的增强，又有益于巩固统一，防止出现分裂割据局面。
隋文帝有着消除混乱、防止发生军事冲突的强烈愿望，同时也从防止百姓的“犯上作乱”出发，便于开皇十五年（595）又颁布诏令：“收天下兵器，敢私造者坐之；关中、缘边不在其例”。这是府兵制度改革后，稳定局势，防止混乱，防范百姓的一个重要补充措施。
最后，府兵制度的改革，有消除军人，特别是军将世袭特权的作用。北周武帝以来，最高统治者就不断进行改革，来冲淡和消除存在于府兵制度中私家武装的性质。隋文帝的改革，吸取了前朝的成果，而又更进了一步。他以十二卫统领鹰扬府，将大权收归中央。士兵有了土地且又户籍隶属州县，中央对地方的控制，由于政治改革而大大加强，这样，府兵也就被中央牢牢控制了。军府将领由皇帝通过兵部选任，不再由一家一姓所世袭，加之从地方鹰扬府挑选、训练、管辖的人中征集士兵，使私家武装的性质彻底消失了。
隋文帝对府兵制度的改革，起到了加强中央集权、维护国家统一的巨大作用，其意义远远超出了军事本身。