十六国的军事领导系统，呈现出复杂的情况，既有对魏晋制度的承袭，又保留了一些少数民族的传统制度，而且，在各政权的建立过程中，前期同后期的制度，也发生了不少变化。总的情况是：前期的诸胡政权和每一个胡族政权的前期，大都实行胡汉分治政策，在政权组织上，一国设置两套班子，分府办公，各行其事，总统于国家的最高统治者或皇帝。这种组织形式表现在军事统御系统上，就是单于台同都督中外诸军事并设，后来随着形势的发展，二者逐渐合而为一。由于各个民族的社会发展阶段不同，或者说文化起点不同，由分治到合治的转化进程也不尽一致，有的很快就完成了这种转变，有的转变则较迟缓，有的甚至尚未完成转变即行垮台。但总的趋势是由分治到合治。在实行胡汉分治时，国家的最高统治者，大都称王或称帝，也是最高军事统帅，同时又保留了大单于的称号，以表明他们仍是少数民族的最高首领。如汉国的刘渊、后赵的石勒、前燕的姚苌、西秦的乞伏国仁、南凉的秃发乌孤和大夏赫连勃勃等。在帝王和大单于之下，既按照汉族的制度，设置一套与魏晋基本相同的官职，如三公、诸卿、尚书以及各种名号的将军，以协助最高统治者处理国家的军、民、财、刑等事务，同时又设置了单于元辅或左、右辅，专门处理少数民族的事务。在地方上，对汉族地区，一般仍实行州、郡、县制，设刺史、太守和县令长等主民政，设都督、将军、校尉等专管军事。对少数民族地区，则按照他们的传统习惯，实行部落同政权相结合的设置，设城主、镇将、都护、部大（部大人的简称）、都大（都大人的简称）等进行统治。上述组织形式，在诸胡政权建国的初期，是比较普遍的。此后，随着各民族汉化程度的加深，他们的政权组织及军事指挥系统便开始变化，这一过程，大体上是分两步走的。第一步，使宗统服从于君统，族权服从于政权。其主要表现是将大单于的地位降于皇帝之下，改由皇太子或皇太弟充任，而且这时的大单于也已不只是少数民族的首领，而且是国家的执政官，为了明确其身份地位和职权范围，往往在大单于称号的前后，加上一些汉族执政官的职称。如刘渊命其子刘聪为大司马、大单于、录尚书事，刘聪命其子刘粲为领相国、大单于等。这种称号本身就表明，胡汉两种制度，已出现了合二为一的倾向。第二步，便是索性取消大单于的称号，完全采用汉族的官制。从军事领导系统来说，各国差不多都设置了都督中外诸军事，是为皇帝之下的最高军事统帅。另外，还设置丁许多不同品位的将军，分统中外诸军。如大将军、秦骑将军、车骑将军、卫将军、中军将军、抚军将军，以及凹征、四镇、四安、四平将军等。不过，这些将军，许多都属官阶而非官职，将军的称号，仅表示其军官的身份和等级，而不一定统军。在当时，真正具有实职的统军将领，一般都要由皇帝特命差遣，在官号中加上都督诸军事、监诸军、督诸军的职称以及使持节、持节、假节的称号。前者表明其权限的范围，后者表明其权力的轻重。其中，以便持节都督诸军的权力最大，持节监诸军次之，假节督诸军又次之。这些，与魏晋之制并无多少差别。唯都督中外诸军事、都督中军、都督禁军和都督数州诸军事等高级统军将领，一般要由本民族、特别是皇族的皇室子弟担任。也有个别汉化程度较深的政权，任命汉族的官吏担任重要军职。如前秦苻坚就曾以汉人王猛任都督中外诸军事，但这毕竟是特例，而非常制。
十六国时期的许多国家，在州一级政权中，也仿照魏晋之制，实行军政长官互兼的制度，任命驻在各军事要地的统军将领，兼任所在州的刺史，或给刺史加上持节都督的职称，兼统军事。他们所领的军队，在制度上属于中央军的外军，应听从皇帝和中央的都督中外诸军事调遣。但是实际上，由于担任地方军职者，非皇族子弟，就是创业的元勋，或是带兵投靠的少数民族首领，他们往往视所统的军队为私人武装，不听从中央的调遣，甚至闹独立性。这种制度，实是造成诸胡政权经常发生分裂的重要原因。
州以下政权的演化过程，与中央相比，显然要缓慢得多。整个十六国时期，郡县制并没有推行于全国，许多国家在边疆少数民族地区，仍普遍实行着政权同族权合一的制度，城主、镇将、渠帅、豪酋、大人的称号，均予以保留。他们既是少数民族的首领，又是当地的军政长官。
十六国时期的几个主要政权的创立者，大都是北方以游牧为主的少数民族。弓马骑射，是其专长。他们在建立政权前的部落兵时期，一般只有单一的骑兵，后来随着战争的扩大，在逐鹿中原时，需要攻城掠地，仅靠骑兵已不能适应新的要求，于是步兵便逐渐发展起来，成为陆军中的重要力量，且在数量上超过了骑兵。不过从战斗力和在战争中所起的作用来说，骑兵始终占居着主要地位，这从当时的不少战例中可以反映出来。永嘉二年（308），刘渊遣刘聪、王弥、刘曜等率精骑5万进攻洛阳，另派呼延翼率步卒继之，将晋军打败，显然骑兵是进攻的主力。后赵的石虎同鲜卑族的郁粥在离石交战，只动用了3万骑兵，而无其它军种参加。秦晋淝水之战，苻坚动用骑兵达27万。足见当时各国的骑兵，不仅数量相当强大，而且经常作为战斗的主力。
十六国时期，也出现过动用舟师作战的记载，但当时的诸政权，并没能建立起独立的水军。如后赵的石虎攻辽河流域的鲜卑段氏，“以桃豹为横海将军，王华为渡辽将军，统舟师十万出漂渝津”。但这并不能说明后赵有一支单独编制、自成体系的水军，实际上这里的舟师，只不过是用陆军参加水战而已。正由于缺乏训练有素的水手，结果“船夫十七万，为水所没、猛兽所害，三分而一。”再如，东晋将领诸葛攸率水陆3万人讨伐前燕的慕容亻隽，慕容亻隽的应战部队只有慕容评和傅颜统领的5万步骑，而并无水师出战。苻坚淝水之战中，虽用船只从水路运送了大量的兵马粮秣，但部队中并无水军的建制。
十六国时期，几个主要政权的兵力总数，前后赵大约在30万左右，前蒸有40万，前秦的兵力，最多时可能达到60万左右。这些数字，看起来很大，但由于当时各国的实力经常变动，地方势力也时强时弱，时叛时服，所以，前述的数字，并不精确。不过据此可以看出，这几个政权的军事力量还是相当强大的。
诸胡政权的军队编制，既沿袭了魏晋的一些制度，也有自己的特点。魏晋时代，军队有中、外军之分；十六国时期，由于战争连年不止，疆域又经常变化，所以中外军的界限，往往不是以军队的驻地为区分标准，而是以同皇帝的亲疏关系和统御系统来区分。大体的情况是：凡以本部族兵为主组成的部队，都属中军。其中一部分由皇帝亲自领导和指挥，称禁卫军，他们多属皇族的本部族成员，是皇帝的亲军，名称有左右卫、左右禁、羽林骑、亲御郎等。另外，守卫太子东宫的卫士，也属禁卫军，名曰东宫卫士或高力。禁卫军的任务是，平时护卫宫室，充当皇帝和太子的侍卫，战时则跟随皇帝出征。有时朝廷也抽调一部分禁卫军，由皇帝的亲信统领。如前秦主苻坚，曾派骠骑将军张蚝率羽林骑五千戍并州。禁卫军的地位比一般士兵高。后赵的禁卫军被任为龙腾中郎，前秦拜为羽林骑，都是军官待遇。禁卫军是经过专门筛选的，战斗力极强，是中军的精华，他们掌握在最高统治者手中，对稳定政局具有重要作用。禁卫军以外的中军，也负有保卫京师的任务，由都督中军、中军将军、卫将军等统领。这些职务，多由宗室大臣或皇帝的亲信担任。
外军，也属中央军，为中央的派出部队，由中央委派到各地的持节都督或城主、镇将、护军等统领。他们由于长驻于外地，有机会招兵买马，筑城修堡，发展个人的势力，遇到机会，就有可能变成割据一方的力量。
仅次于外军的是州郡兵。州郡兵本届地方武装力量，由州刺史或郡太守统领，以维持地方治安为要务，有时也应调出征。
私人武装力量强盛，是这一时期的重要特点。兴起于东汉末年的豪强势力，在西晋的“八王之乱”后，有了迅速的发展，到了十六国时期，更出现了坞堡林立的局面。凡有势力的地方豪强，无不结堡自卫，每个坞堡主，都有数量不等的部曲，家兵。因政局动乱，各政权无力控制，有些坞堡就变成一种具有半独立性的军事实体，能直接参与军事斗争。如淝水之战后，苻坚的力量孤弱，时关中诸壁垒3000余所，皆遣兵负粮以助苻坚。西晋末年，地处长江以北，黄河以南的徐、兖一带，坞堡林立，各不相属。后来祖逖北伐时，曾依靠当地的坞堡主共抗北方的石勒，屡屡取胜，说明其军事力量也相当可观。当这些坞堡主归服于某个政权后，往往被任命为地方行政长官或统军将领，原有的私人部曲，仍归其统领，但已纳入国家的军事系统，变成外军。
十六国时期的诸胡，尽管进入中原的时间有前有后，各民族的社会发展阶段也不尽一致，但从社会结构上说，大都还保留着部落组织。落为近亲家族，也称邑落，是社会的基层组织，落上为部，每部所统的落数量不等，大者以千计，小者以百数。部的首领称大人、渠帅、酋长等，落的首领称为小帅。部落的首领，原来由推举产生，进驻中原后，已演变为世袭贵族。与这种社会结构相适应，在部落内部，实行部落兵制，全族皆兵，凡成年男子，都是战斗员，也是生产者，战时打仗，平时生产，亦兵亦农（或牧），耕战合一，军械粮秣，自行筹措。当时诸胡的首领，大都是依靠这些部落兵起家的，当他们建立了政权后，大都实行胡汉分治政策，政权的组成，是以本民族为主体的，与此相应，国家的军队，也实行胡汉分将制度。原来本族的部落兵，组成中军，由本族的将领统帅，成为国家军事力量的主干。从外表上看，这时的中军，与部落兵似乎没有多大的差别，但在性质上，已演化成国家的职业常备军。中军的家属随军，分住于各营，称为营户。屯驻于外地各军镇的外军，其家属也随军，称为镇户。外军虽不完全是由本族人充当，但在胡汉分将制下，居住于同一军事据点或统属于同一军将的，基本上属于同一个民族。营户和镇户，是中外军的主要兵源，他们既是兵，又是民，户籍单独编制，不归郡县管理，而隶属于军将。军将既是他们的军事统帅，又是他们的行政长官。营户、镇户的成年男子，均是终身为兵，而且父死子继，兄终弟及。可见这些营户和镇户，兼有少数民族部落兵制和魏晋以来的世兵制的双重性质。这是当时兵役制度的一大特点。
十六国诸胡政权的兵源，除营户和镇户之外，还有招募、强征和收降而来的。
用招募的办法来扩大兵源，当时比较普遍。招募的对象，主要是民户。民户虽大部分是汉人，但也有包括身居内地、汉化程度较深的少数民族在内。如前燕的慕容帏统治时期，因嫌军将领属的营户太多，影响生产，曾下令：诸军营户，悉罢军封，出户20余万。这些被“出”的户，就变成了民户。后燕慕容宝也曾“校阅户口，罢诸军营，分属郡县”。这些记载说明，招募的士卒，并不都是汉人。
征兵是在紧急情况下临时实行的，不属于常制。大战来临，国家感到常备军不足，就下令征兵。如后赵石虎在准备进攻前燕时，就曾下令在司、冀、青、徐、幽、并、雍诸州征兵，规定家有五丁者取三，四丁者取二。前秦苻坚在淝水之战前也曾下令征兵。被征的士兵，服役期限的长短，根据战争的需要而定，并无定制，一般的情况是战争一结束，即令复员返乡。这种征兵办法，带有强制性质，与正规的义务兵役制下的征兵制有别。
收编其它军事力量，特别是中原地区的坞堡力量，也是这一时期的兵源之一。如《晋书·石勒载记》称：乌桓张伏利度随石勒降于刘渊后，刘渊以其众归石勒统领。同书又载：“元海命（石）勒与刘零、闫熙等七将率众三万寇魏郡、顿丘诸垒壁，多陷之……简强壮五万为军士。”由此可见，这些政权通过收降，也获得了大批的兵员。