中央和地方军事领导体制
隋朝军权主要集中于中央，由皇帝亲自掌握。尚书省下辖的兵部，为皇帝日常的军事代办机构。其最高长官为兵部尚书，下设兵部侍郎、职方侍郎、驾部侍郎、库部侍郎及有关人员。
开皇元年二月，隋文帝在全国设十二卫府，即左右卫，左右武卫府，左右武侯府，左右领左右府，左右监门府和左右领军府。左右卫掌宫掖禁御，督摄仗卫；左右武卫府领外军宿卫；左右武侯府掌车驾外出警卫；左右领左右府掌侍卫左右，供御兵杖；左右监门府掌宫殿门禁及守卫；左右领军府掌十二军籍帐、差科和辞讼。左右卫、左右武卫和左右武侯各置大将军1人，将军2人，长史、司马、录事、功、仓、兵、骑等曹参军，铠曹、法曹行参军各1人，行参军左右卫、左右武侯各6人，左右武卫各8人。而左右领左右府、左右监门府和左右领军府所置官员有所不同。
十二卫府所置大将军上隶皇帝，下辖骠骑、车骑府，军士称侍官。骠骑府置骠骑将军、车骑将军（副职）；车骑府置车骑将军。其下又置大都督、帅都督和都督。这些军将的官号、品级承袭西魏、北周，但有所变更。如大将军降低二级，骠骑将军降低二级半，车骑将军、大都督、帅都督和都督均降低三级半。军将数量有所增加，以利于皇帝控制军队，加强中央集权。
十二卫府统禁卫兵，其任务是禁卫京都和征讨。骠骑、车骑府直接掌握府兵，屯于京城及各地要冲，拱卫首都。与十二卫府相对应的有东宫十率：左右卫率，左右宗卫率，左右虞侯，左右内率和左右监门率。
大业三年（607），炀帝改革十二府之制：左右卫改为左右翊卫；左右备身改为左右骑卫；左右武卫名称如旧；左右领军改为左右屯卫；增置左右御；左右武侯改为左右候卫。是为十二卫。又改左右领左右府为左右备身府，左右监门仍承旧名，共十六府卫。
十二卫府如隋初，各置大将军1人，将军2人，总领卫府的指挥管理。他们上隶皇帝，下辖各鹰扬府（由各府原所领骠骑府、车骑府改组而成）。改左右卫所属的三卫（亲卫、勋卫、翊卫）为三侍。废止原直阁将军、直寝、奉车都尉、驸马都尉、直斋、别将、统军、军主、幢主等官。十二卫军士被冠以荣誉称号：左右卫的军士名“骁骑”；左右骁卫军士名“豹骑”；左右武卫军士名“熊渠”；左右屯卫军士名“羽林”；左右御卫军士名“射声”；左右侯卫军士名“亻次飞”，总称之卫士。每府大将军以下人员基本如旧，惟增置护军4人（后改为武贲郎将，并设武牙郎将6人为副）。左右侯卫增设察非掾2人，专管纠弹之事。
东宫十率也有部分改组：左右卫率改为左右侍率；左右宗卫率改为左右武侍率；左右虞侯开府改为左右虞侯率，并置副率。左右内率降为正五品，左右监门率改为宫门将，降为正五品。
大业九年（613），置左右雄武府，隶属于左右备身府。招募百姓为骁果，置折冲、果毅、武勇、雄武等郎将统领。骁果在皇帝护从军中占有重要地位。
在地方，隋初推行州、县两级制。在边境及内地重要州，设总管负责该地域军事，并统一附近数州的军事管理。炀帝时改行郡、县制，在郡设都尉（正四品）、副都尉（正五品），负责一郡的兵马，与郡不相知。
军事要地置镇，设镇将、副将。上镇将从四品，中镇将及上镇的副将从五品，下镇将及中镇副将为正六品，下镇副将从六品。次于镇者置戍，设戍主及副。上戍主为正七品，中戍主及上戍副为正八品，下戍主及中戍副为正九品。要隘及交通孔道设关，置令及丞。上关令及中关令从八品，卞关令及上关丞正九品。
府兵制的改革
军人编入户籍隋文帝十分重视府兵的改革。其入宫辅政之时，便借皇帝之名恢复诸将旧姓。北魏孝文帝改制后，随着北魏政权封建化的加速，原六镇的鲜卑军户社会地位也急剧下降。当他们参加六镇起义后，又成为一些经叛变、起义而转化为新贵族将领的统治工具。他们对过去被人贱视的经历记忆犹新，向往早期部落兵的生活。于是，宇文泰等为迎合这种心理，将府兵制下的官兵关系蒙上一层部落化的色彩。命令各有功将领，分别继承为鲜卑三十六大部和九十九氏族的子孙；汉族或其他民族一律改为鲜卑姓。这种作法虽然徒具部落化的形式，但使六镇军户的地位有所改善和提高。杨坚恢复诸将旧姓，旨在恢复汉族地位，清除私兵、部族兵的遗痕，以争取广大汉族人民的同情与支持。开皇初年，又将乡兵编入府兵，其首领转为府兵将校，以削弱地方势力。灭南陈后三个月，鉴于国内形势趋于平稳，文帝下诏：除禁卫宫廷及戍边所用兵械外，民间所藏一概销毁，第二年，又诏令军人编入地方户籍，但同时又置于军府的统一管辖下。这是府兵制的一次重大改革：即由兵农分离，到逐渐合一。文帝在统一全国后罢除北击突厥、南下灭陈时的新军府，将军户变为民户，由州县管理，并与百姓一样按均田令授田，从而使均田制成为府兵制的基础。军人与土地相结合，使封建国家掌握的户口和赋税增多，军费减少，有利社会经济的发展。
鹰扬府的建立隋炀帝执政之初，根据政治需要，对府兵制又进行了重大改革。大业三年（607），改骠骑府为鹰扬府，骠骑将军为鹰扬郎将，车骑将军为鹰扬副郎将。鹰扬府置鹰扬郎将1人，鹰扬副郎将1人，各有司马及兵、仓两司。又置越骑校尉2人，掌骑士，步兵校尉2人，领步兵。改大都督为校尉，帅都督为旅帅，都督为队正，增置队副。大业五年，又改鹰扬副郎将为鹰击郎将。鹰扬府的建立，并非单纯地改变了军府名称，而是降低了将校的官品，如鹰扬郎将比骠骑将军降低一级，鹰扬副郎将降低半级。这样有利军权进一步集中到皇帝手中，防止将校拥兵割据，权高震主。从隋末农民大起义来看，鹰扬府遍及全国，其府兵在镇压农民大起义及隋官起兵中，扮演了重要角色。