在中国的封建专制时代，军权统于政权，政权统于皇权。所以皇权至上，这是历史的常态。两晋时期由于士族掌权，重臣执掌国命，致使皇权受到了削弱。除个别皇帝（如晋武帝司马炎）尚能掌握国家的军政大权外，许多皇帝反而成了权臣手中的傀儡，所以这一时期的军事领导系统变化无常，常因人而异。
军事领导体制
西晋立国后，承魏初之制，不设丞相，国家的政务由中书省和尚书台负责。在军事方面，则任命官阶在公位或从公位的大臣为都督中外诸军事，代表皇帝统御全国的军队。日常军务工作，一般由尚书所属五兵曹主管，如武帝时，宗室大臣司马孚就是以太宰都督中外诸军事，协助司马炎统御全国军队的。司马炎死后，惠帝无能，大权落入权臣之手。此时，又恢复了丞相的建制，那些军事重臣往往逼迫皇帝任命自己为丞相，都督中外诸军事，以掌握军政大权。
除都督中外诸军事外，西晋还设有众多的将军，如大将军、骠骑将军、车骑将军，以及抚军，辅国，四征、四镇、四安、四乎等将军。这些将军都是官阶，而非官职，所以并不一定统军。在西晋时期，真正统军的武官，一般要加上都督诸军、监诸军、督诸军的职称和使持节、持节、假节的称号。其中以使持节、都督诸军的权力最大，凡其所属部队中的人事任免、奖功罚罪、管理训练、作战指挥以及后勤供应等，均在其职权范围之内。持节、监诸军的权力次之，假节、督诸军又次之。它们与前者的区别，主要是对军队没有直接领导权。
西晋地方军事领导系统，情况较为复杂。西晋建立后，司马炎鉴于曹魏因皇室孤立而灭亡的教训，在称帝后不久，便大行封建制，分封了同姓宗王27个。宗王可依照封国的大小，分别设置数量不等的军队，或5000人，或3000人，或1500人。同时又任命诸宗王为都督一方的军事长官，让他们掌握国家外军的兵权。如汝阴王司马骏，被任命为都督豫州诸军事，领兵镇许昌；扶风王司马亮被任命为都督关中雍，凉诸军事，领兵镇长安等，这称为“宗王出镇制”。在东晋时，宗王的势力受到了削弱，但在地方政权中，又广泛推行了自三国时期开始建立的集军政大权于一身的“双轨制”建置，南北大族，多以州郡的地方官兼都督一州乃至数州的诸军事，他们所统的军队，名义上是国家的外军，实则已变成了地方军，甚至私人武装，朝廷很难调遣指挥。另外，东晋各级地方官直接领有的私人部曲，动辙成千上万，数量大得惊人。这种双轨制建置以及地方官拥部曲兵，实际上就成为培植国家的军事重臣和地方割据势力的温床。东晋前期的王敦、苏峻、后期的桓玄、刘裕等，都是借助上述制度才发展成为“阻兵仗势、足以建命”的军事权臣的。
中军和外军
西晋时，京城中军分为两部分，屯驻于京师城区以警卫宫廷和京城为主要任务的军队，称为宿卫军；屯驻在京城郊外，作为国家控制的机动部队，称为牙门军。宿卫军由多部分组成，分为“领、护、左、右卫、骁骑、游击六军”。这六军是宿卫军的主力，其大体的分工是：左、右卫二军，分设左、右卫将军统领，负责宫城内的宿卫；骁骑和游击二军，分设骁骑、游击将军统领，负责宫城门到宫殿门外的宿卫；领军和护军，本是魏末中军的统帅，他们除负责指挥京城内外的各军外，自己还各有直属的兵营。西晋时，这种营兵仍然保留，也负责宫城内外的宿卫。
六军之外，还有四军，即前、后、左、右四军，各设将军统领，分别屯驻在宫城外东西南北四面，负责宫城门和京城内外的警卫。
六校，为汉魏的五校（屯骑、步兵、越骑、长水、射声校尉）加上新增加的翊军校尉组成。二营，是西晋太康十年新建的积弩、积射二营。六校和二营也担任宫城的宿卫和皇帝出入的扈从。五卫率，为太子东宫所设，设东宫卫士。晋初，只设左右二卫率，后又增前、后、中三卫率，合称五卫率。卫率的任务是警卫东宫，也属于宿卫军。
屯住于京城郊外的牙门军，其编制情况不详。据记载：晋武帝于即位前夕（咸熙二年，265年），“置四护军以统城外诸”。由此可见，西晋与魏制相同，由领军统城内诸宿卫军，由护军统城外的宿卫军。
以上的宿卫军和牙门军，统称为中军，其总数当不少于魏末的10万人。其中宿卫军和牙门军，大约各半。
西晋的中军，在晋末永嘉之乱中，已全部被匈奴族的刘曜和羯族的石勒歼灭，东晋的中军，完全是重新组建的，所以，东晋中军各部的名称虽与西晋无大异，但中军数量及质量，已大不如前。中军的总头领，西晋初年称为中军将军，以后名称屡改，有北军中侯、中领军、领军等名称，东晋一直沿袭。
关于外军，是指屯驻在京师以外各地的驻防军。从制度上说，外军也属于中央军。外军的组成大致包括两部分：一是由中央设在各地的都督府（军府）所统领的军队；一是各封国所置的军队。
西晋时各军府（都督府）所统的军队，数量很大，总兵力达30万人左右，远远超过了中军。所以很难造成中央对地方的居重御轻之势。据记载，当时大的军府兵力可达四、五万人，小的军府也在万人以上。各军府所属部队的战斗力，强弱不一。西晋时的关中都督、豫州都督为强镇；东晋时，荆、扬两州为强镇。尤其是侨置于京口（今江苏镇江）的南徐州（或南兖州）都督府所领的军队，大都是从北方徐、兖二州的流民中召募而来，这些士兵，因有国破家亡之恨，战斗力极强。胡三省说，“晋人谓京口为北府”，故其所领的军队也称为北府兵。这支军队在东晋中期以后，往往能左右国家的政局。
各封国所设的军队，也属外军。就每一个封国来说，其军队的数量并不大，但西晋共分封了500多个王、公、侯国，封国均可设军队。全国加起来，也是个不小的数目。
两晋的军兵种
两晋的军队，仍有陆军和水军之分，陆军中步兵的数目最大，但战斗力最强的却是骑兵，骑兵是陆军中的主力部队。另外，陆军中还有一部分车兵，是专门用来对付北方各国的骑兵而设的。曹魏时，水军较差，西晋建立后，为了准备灭吴，派王在益州训练水师达六、七年之久，共训练了水军数万，并制造了大量的舰船，“舟楫之盛，自古未有”。在灭吴战争中，“王楼船下益州，金陵王气黯然收”，水军曾起了关键性的作用。晋灭吴后，又收降了孙吴的全部水军，使西晋的水军比曹魏时期有了很大的发展。东晋立国江南，有地利之便，水军的力量也比较强大。
两晋的兵力，前后变化很大。魏末全国的总兵力，已达近50万人。西晋灭吴后，又收降吴卒20余万人，使全国的总兵力达到了70万人左右，这时是西晋最盛时的兵力。“八王之乱”发生后，经过统治阶级内部的互相厮杀，使西晋的军事力量受到了很大的削弱，再加上宗王势力的壮大，他们统领的外兵，已不听中央的指挥，当时西晋政府所能控制的军队，就只有10万左右的中军了。后来这支中军，又被匈奴族的刘曜和羯族的石勒所消灭。东晋偏安江南，人力和物力有限，国家的军力，最多也不超过20万，又大都被地方军镇所分割，因而造成了地方军镇控制中央政府的外重内轻之势。
兵役制度
西晋承魏制，仍实行世兵制。军户是当时国家军队的主要兵源。在一般情况下，国家是明令禁止募兵的。如晋武帝特允马隆募勇士平凉州，当时的公卿大臣认为：六军既众，州郡兵多，不宜另行招募以乱常典。西晋末年，“八王之乱”发生后，各地的军将领为扩大势力和补充损失，也曾实行募兵。如石超在荣，荀唏在高平，张云在洛阳，都曾进行过招募，但这都属权宜之计，并非常制。
东晋时也实行世兵制。但由于西晋灭亡时，中军已被歼，中原地区又落入少数民族之手。仅靠原来江南的部分外军和南迁流民的少量军户，已无法组建和扩充国家的军队，这就需要增编一部分军户。当时的江南，地广人稀，大小门阀士族，又控制着大量私家奴客，奴客在当时均注入主人的家籍，不属于国家的编户，故不服兵役。在这种情况下，东晋政府采取了如下几种措施来扩充军户：一是搜简逃户和隐户，如毛琚为淮南太守，曾于海陵之青浦搜捕逃赋入湖泽的人民近万家，以补兵户；二是用放免奴客的办法来扩充军户。永嘉之乱后，中原的民户逃至江南者，许多人已变成士族豪强的奴僮、佃客。这部分奴客，因原属国家的编户齐民，与国家允许私家占有的奴客有别，为了扩充军户，国家有时发布免奴为客令，先将其放免，然后编入军户。如晋元帝司马睿就曾下令：“免中州良人遭难为扬州诸郡僮客者，以备征役。”安帝时，司马元显发东南沿海诸郡免奴为客者为兵等。这种作法，不仅触犯了大族的利益，也引起了那些被放免而成为军户者的反抗。因为东晋的军户身份低下，所以，发布免奴为客令，有时会引起社会骚动。最后一种办法是使罪犯为兵。上述几种方式虽然补充了一部分军户，但一者数量有限，二者这些新增的军户素质太差，所以，仍然满足不了政府扩充军队的需要。在这种情况下，募兵制应运而生，并得到国家的允许。如祖逖北伐时，司马睿仅授于他一些粮秣，兵力则命其自行招募。到东晋后期，募兵已成为重要的兵源之一。国家的主力部队，大都靠招募而来。如著名的北府兵，就是由募兵组成的。
两晋时，也偶尔实行征兵制。如晋武帝伐吴，曾强征民户为兵；西晋末年怀帝时，裴盾在徐州征发民户为兵；东晋康帝时，庚翼在武昌征发六州民户为兵等。不过，这些都是为应急而采取的临时性措施，在一般情况下，两晋是很少实行征兵制的。