忽必烈即位之后，对军制进行了重大改革，从军队编制，指挥系统到军队管理、后勤供应等，都实行了一套比较完备的制度。
军队编制体制
蒙古国时期，军队分成蒙古军和汉军两大类。到元朝统一全国后，忽必烈把全国军队分成为中央宿卫军队和地方镇戍军队两大组织系统，确定了元军的编制和隶属关系。嗣后元朝诸帝又在这两大组织系统中对某些军队和军府进行了调整。
1.侍卫亲军与怯薛
元朝的中央宿卫军队由蒙古政权原有的怯薛组织和新建的侍卫亲军组织构成。
忽必烈即位初年，原来的蒙古怯薛军一分为二，一部分归属于阿里不哥，一部分归属于忽必烈。忽必烈很快从属下的蒙古千户中又征集了一批护卫士，使怯薛组织又达到了1万人的定额。除了蒙古人外，色目人、汉人乃至南人也大量涌入怯薛组织。以后元朝政府不断“沙汰”怯薛中的汉人和南人，核定怯薛人数。到了元文宗时，怯薛宿卫士有1.3万余人。
侍卫亲军组织始建于中统元年（1260）。第一个卫军组织称为武卫军，兵员3万人左右，士兵来源于中原各汉军万户属下的军队。以后又改名为左、右翼侍卫亲军，左、右、中三卫。至元十六年，南宋灭亡，忽必烈调整军队布局，增加侍卫亲军兵力，将三卫军扩充为前、后、左、右、中五卫，后又增设了武卫、虎贲卫、忠翊卫、海口侍卫等卫军机构，以汉军为主体，称为汉人卫军；将原来隶于蒙古军籍的色目“诸国人之勇悍者聚为亲军宿卫”，先后设立了唐兀、钦察、贵赤、西域（又称阿儿浑）、阿速、隆镇、龙翊、斡罗思等卫军机构，称为色目卫军。部分蒙古探马赤军人和从草原上流散出来的蒙古人口，也被编入侍卫亲军组织，设立蒙古侍卫与宗仁卫等机构，称为蒙古卫军。此外，还在东宫（后转给后宫或枢密院）之下设立了几个卫军机构。到元文宗时，卫军的总人数在20万至30万之间，汉军士兵约占2/3.
怯薛和侍卫亲军隶属关系不同。怯薛由怯薛长掌管，直接与皇帝发生关系。侍卫亲牢由各卫都指挥使司掌管，除东宫卫军外，均隶属于专掌军政的枢密院之下。
怯薛和侍卫亲军在职能上有明确的分工。怯薛负责皇帝的安全，掌管宫城和皇帝大帐的防卫，一般不外出作战；侍卫亲军则既要负责元朝两个都城大都（今北京市）、上都（今内蒙古正蓝旗东）的安全和“腹里”（元中书省直辖地区，包括今河北、山东、山西三省及内蒙古部分地区）的镇戍，又是朝廷用以“居重驭轻”的常备精锐部队，随时可以派出去镇压地方的起义、叛乱和抵御外来的侵扰。由于充当侍卫亲军的多是各军中的精锐士兵，因此侍卫亲军成为元军的中坚力量，取代了蒙古国时期怯薛作为全军“大中军”的军事地位。
2.地方镇戍军队
地方镇戍军队由驻牧在草原上的蒙古军和分散在全国各地镇守的探马赤军、汉军和新附军等构成。
蒙古军仍然保持着有战事传檄集合，平时散归各部的状态。千户组织还是蒙古军的基本组织形式。南宋灭亡后，参战的探马赤军除部分被编入侍卫亲军组织外，都被元廷收聚到山东、河南、陕西、四川军事要地屯驻。探马赤军人的家属也陆续从草原迁往中原驻地。从至元二十年（1284）开始，元廷陆续设置了山东河北、河南淮北、陕西、四川四个蒙古军都万户府，立司于濮州（今山东鄄城北）、洛阳、凤翔和成都，分掌探马赤军。四个都万户府所属探马赤军人的总人数，大约在5万人至8万人之间。
忽必烈即位之后，为发动灭宋战争，又从中原地区签军近20万人，补充汉军。全国统一后，元廷将招降来的新附军（原南宋军队）与汉军混编在一起，掺入部分色目军人，分布在各行省戍守，设立了近百个万户府、元帅府分管这些军队。在一些少数民族聚居的地方，也编组了由当地民族人组成的军队，如辽东有高丽军、女直军，云南有寸白军（又称爨军），湖广有土军、黎兵、洞兵、福建有畲军，吐蕃地区有吐蕃军，等等。这些军队，主要被用来维系当地的安宁，由在当地设置的万户府、元帅府等机构兼管。
元朝军队的兵种，大体上蒙古军、探马赤军以骑兵为主，汉军和新附军以步兵为主。炮军和水军人数较少，一部分分编在各种军队中，一部分由炮水手元帅府、水军元帅府、水军万户府掌管。
元代还有一种专门用来随大军出征掳掠财物的人，称为“答剌罕军”或“乾讨虏军”，实际上是一些政府不给粮饷、不入兵籍的所谓“无籍军”，多由无赖侥幸之徒组成。这种人到处掳掠，祸害地方，元廷每每不得不加以约束收编。
军事指挥系统
忽必烈即位之后，为加强中央集权，改变了蒙古国时期大汗，宗王，万户长、千户长等一统到底和都元帅节制汉军的军事领导体制，在中央设立枢密院，作为掌管全国军政的最高机构，地方统军机构几经变化后也基本趋于稳定，形成了一套制度。
1.枢密院
枢密院设立于中统四年（1263）五月，负责调发和管理全国军队、筹划军事部署、铨选武官及为军队提供后勤保障。军队的通信、马政等务，由中书省兵部负责，不归枢密院掌管。
枢密院初设时只置枢密使、副使、佥书枢密事等职，后来增置了同知枢密院事、知枢密院事、同佥书枢密院事等职。皇太子兼枢密使。知枢密院事是枢密院的实际最高长官。知院原设一员，后来增至7至10余员。成宗朝以后，由皇帝指定一名知院为诸院之长，总管枢密院事务。知院和同知按规定必须由蒙古人或少数色目人充任，副使以下才参用汉人。
枢密院向皇帝奏报军情要务，一般情况下不经过中书省。重大的军事决策，皇帝要召集中书省和御史台等中枢机构官员与枢密院官员一同商议。蒙古皇帝每年夏季赴上都避暑，枢密院官员大多随行，只留副使或佥院一、二员于大都，暂管枢密院事务。重要的公文和军事奏报都要转送上都，由跟随皇帝的院官处置。如果发生突然事变，留守大都的院官可以调动军队和采取紧急措施。
为了保证驻在漠北草原上的蒙古各部的军政统一，忽必烈取消了蒙古左、右翼万户长，各蒙古千户的长官直接听命于枢密院。元廷曾长年委派一员知院坐镇漠北，就地处理军务。
2.宗王出镇
蒙古国时期分封的蒙古宗王，都拥有直属的蒙古千户和封地。忽必烈改变了这种做法，将自己的几个儿子分派到漠北、陕西、云南、吐蕃等地作为出镇宗王，不再封给他们蒙古千户和封地，只授以宗王节制当地军队的权利，有战事时作为军队的最高指挥官。在漠北出镇的宗王，地位在坐镇漠北的知院之上。元朝中期，在鄂州和扬州等地也设置了出镇宗王。出镇宗王多是忽必烈的后裔，更换袭任需由皇帝亲自决断。
3.行枢密院与行省官员掌军政
为统一指挥军队对宋作战，忽必烈先将统管探马赤军和汉军的都元帅改建为统军司，后又改为行枢密院或行中书省。统军司和行院、行省的官员，都由皇帝任命，具有指挥军队作战、调配军需物品、措置边防戍守等权力。
全国统一之后，行枢密院相继撤罢，在全国设立河南江北、江浙、湖广、江西、四川、云南、陕西、甘肃、辽阳、岭北10个行省。各行省设置平章二员，兼管军事，总督本省军马。行省平章一般由蒙古人充任，有时也用色目人，汉人不得任职。行省内的万户府，元帅府等，是行省的下属军府。在远离行省中心的地区或少数民族聚居地区，设立宣慰司都元帅府掌军政和民政，作为行省和郡县的中介机构。
各行省的军队调发，需经枢密院批准传旨。行省内务军队的镇戍和屯田地点，也要由行省官员和枢密院协议确定。在某一地区发生战乱，先由枢密院传旨所在行省平章，调派军队镇压，如不奏效，则传命附近行省发军会剿。有时，也在战事频繁的地区设立行枢密院，临时提调从各省调来的军队，战事平复后则撤销。
兵役制度
进入元朝之后，蒙古各部仍实行成年男子皆兵的兵役制度。其他民族的人，则由国家强行指定一部分百姓承担服兵役的义务，他们的户籍与其他百姓分开，另行管理，实行军户制度。蒙古国时期的签军和定立军籍，进入元朝后继续进行。到至元十六年（1279）以前，探马赤军和汉军士兵的军籍确定工作基本完成；至元二十年到二十七年，又定立了新附军人军籍。军户由此分成汉军军户、探马赤军户（也称蒙古军户）和新附军户三种。
汉军军户的签发是以民户的财产和劳动力状况为根据的，一般取之于中户，但是各军户的财产和劳动力情况往往有很大差别。针对部分军户无丁或无力服兵役的情况，政府很快推行了正、贴户制，依据军户的不同状况，以两三户或四五户合出军1名，出人当兵的户叫做正军户，又称军头，其他各户出钱资助，称为贴军户，由政府指定，不能随意改变。如果正军户缺乏可以当兵的合适人丁，由有丁的贴军户顶替，改为正军户出钱资助。一旦正军户中有了合适的人丁，便要继续出军。
探马赤军户原来出自蒙古各部，新附军户来源于元朝政府招收的南宋降军，都没有财产依据，不实行几户合出一军的制度，但是某些探马赤军户原来拥有的驱口释放为民之后，按照政府的规定，就成为旧主人的贴军户，出钱资助出军。新附军户都没有贴户。
军户履行服兵役的义务，必须以“正身”（本人）应役，不得逃避或以他人代役。如军人在出征或出戌时逃亡，要到原籍勾取他的兄弟子侄来顶替。军人阵亡或病死，军户可以享受“存恤”的待遇。侍卫亲军和屯田、镇戍军人，无战事时轮流休假，轮换时间各有不同，短的每年都可以轮换休息，长的3年或6年才能休假一次。
军户的武器装备，探马赤军户仍要自备；汉军军人服役期间，由政府发给冬夏军装，配备武器，并按月发放口粮；服装的不足部分以及其他装备与开支，由军户自理。正军户和贴军户凑齐出征、出戍军人的所有费用，定期送到军中，称为“封椿”钱（又称作“封装”钱）。新附军人的装备全由政府供给，家属还要每月由政府发放口粮。作为军户承担兵役的补偿，元朝政府在赋役方面对军户实行豁免和优待。
奥鲁是管理军户的机构。探马赤军万户中原来设立的奥鲁官，建立都万户府后，陆续撤罢，由都万户府下属的万户府和千户所直接管理探马赤军户。汉军奥鲁，在忽必烈即位后从各汉军万户下分出来，由各路、府、州、县的管民官兼管。新附军户由所在军府的管军军官直接管理，没有奥鲁的设置。奥鲁的主要职责是征发军户服兵役和征取封椿钱。军户犯罪，奥鲁官要协助审理。
军户制的实行，可以保证军队有稳定的兵源，又可以维持一支庞大的军队而使政府负担不致过重。但是，军户制也有许多难以克服的矛盾。军户负担过重，再加上军官的残酷剥削和压迫，常常导致军人逃亡和军户破产。到了元朝中期，这种现象愈来愈严重，军户制受到严重破坏。到元末农民战争前夕，军户制已经完全崩溃。
军事职官制度
蒙古国和元朝，都实行军官世袭制度。蒙古千户长、百户长去职，由子孙袭任本职；探马赤军和汉军军官战死，子孙袭其原职；病死则子孙降二等袭职。承袭者必须年满20岁，按照规定要进行武艺和文化考核。原来，承袭者可以是儿子，也可以是兄弟子侄。由于承袭顺序不清楚，经常发生争执。仁宗时特别作出规定，必须由嫡长子承袭，其次是嫡长孙。这是第一顺序。如果没嫡长子孙或嫡长子孙不够承袭年龄，则改由第二顺序，即庶子和兄弟、侄等承袭。嫡长子孙及龄后，第二顺序承袭者要将职位交回他们手中。
在实行军官世袭的同时，还实行军官迁转法，一般是3年为满升迁，出征时则验功过决定升降。掌管探马赤军的军官升迁后，原来的职位由他们的“弟侄儿男”继任，管汉军的军官升迁后，留下的职务由他人继任。
世祖至元七年（1270），确定以管领军队多少区分军官等级。至元二十一年，又规定了军官的品级、各军府设军官的人数以及军官所持的符牌标准。万户府、千户所分成上、中、下三等，侍卫亲军各卫指挥使司与上万户府等级相同；百户所分为上、下两等。万户府设达鲁花赤、万户、副万户、镇抚；侍卫亲军各卫设都指挥使、副使（有的卫也设达鲁花赤）；千户所设达鲁花赤、千户、副千户、弹压；百户所设百户。草原上的蒙古军，仍保持过去的千户长、百户长等职务。
蒙古国时期，已给官员发放符牌，以表示身份、地位和权力。进入元朝之后，只有军官才能够佩符牌。牌与符是一回事，分为虎头金牌、平金牌、平银牌三等，又称为虎符、金符和银符。大致上是万户佩虎符，千户佩金符，百户佩银符。虎符还有三珠、二珠、一珠的区别，三珠虎符最高，只有上万户府达鲁花赤、万户以上的掌军者才能发给。符牌由政府颁发，军官升迁或去职后，按规定要交回原持符牌。除符牌外，各级军官还有印章。
军事物资和战斗保障
元朝十分重视军事后勤建设，对武器装备、军需物资和军事通信都有严格的规定。
元朝设立军器监（后改为武备寺），专门管理各种冷兵器和火器的生产、贮存和发放。元朝军队使用武器以冷兵器为主，各种长短兵器、抛射兵器（弓箭）仍是元军最主要的武器。但是火器在元代得到了进一步发展。燃烧性火器（火箭、火筒）和爆炸性火器（铁火炮）等，已是军队经常使用的武器。至迟在14世纪上半叶，已经发明了金属管形射击火器——火铳。元朝末年，火铳已被广泛使用。
元朝对武器的管理，有很严格的规定。除了由政府组织的武器生产外，任何人都不许私造兵器。汉人、南人不得私藏武器，弹弓、铁棒等都在禁用之列，违反者要治罪。汉军和新附军人只有在作战或出戌时才许持有武器，使用之后就要交纳仓库，统一保管。蒙古军和探马赤军人则不受此限制。
为了解决军队的粮食供应问题，蒙古国时期已开展大规模的军事屯田。元朝统一全国后，侍卫亲军各卫和地方的镇守军队都拨出部分士兵从事耕作。军屯按照军队组织系统进行管理，设立屯田万户府、千户所等机构，各级官员都是军官。每年年底，朝廷要对军屯的耕田亩数、粮食收成和耕畜情况进行考核，奖优罚劣。被调充屯田军人的主要是新附军和汉军。屯田所用耕牛、农具和种子，大多由国家供给，少数由军人自备。屯田的收成，大多数上缴国家，少数留作口粮和种子。军屯对边疆地区的开发和军事活动的物质保障，有积极的作用，但是由于军屯官吏贪污和压迫屯军以及屯田军人的消极怠工等因素，军屯的经济效益较低，不能满足军队的粮食需求，政府每年还要从民户中征收来的税粮中拨出部分粮食供应军队。
蒙古统治者重视骑兵建设，对马匹的繁殖、管理和调拨，逐渐形成一套制度。由政府设置、管理的牧场，主要分布在大都周围和漠北、漠南的草原上，牧养的马匹一部分供军事上使用，一部分则用来满足皇室的生活需要。每当遇到重大的军事行动，政府即临时在民间“刷马”、“括马”和“买马”，从民间强制征调马匹以供军用；蒙古人与各级官员可以得到一定照顾，汉人、南人百姓的马匹则往往全部征收。通过这种方法来满足军马的需求，虽然比较便捷，但往往遭到人民的反抗，引起很多矛盾。
为了保证庞大的军事机器运转，只靠军户自备武器装备和提供封椿钱、调发军人屯田等是远远不够的。政府每年还要拿出大量钱钞，支付军官俸禄、怯薛岁币、赏赐军功以及边备与战争费用。政府为屯田军人提供牛具、种子，组织武器生产，赈济贫乏军人，抚恤死亡将士家属等，也要计入军费开支。军费开支一般占朝廷财政收入的1/4或1/3以上，是元朝政府的一个沉重经济负担。
为了保证军队的通信联络，元朝政府建立了完善的站赤（驿传）系统。驿站设置以大都为中心，通往全国各地。各站都备有马匹和粮食、肉食，备来往的信使使用。此外，还有急递铺，用来往返递送紧急军情公文。
军事法规
元代的军事法规，既保存了相当多的蒙古传统，又吸收了前代封建王朝的许多原则规定，形成一种混合的体制。军人的服役办法，军官的职责和奖惩，军队的纪律，以及军事法令的执行和监督，是军事法规的主要内容。军官的考核标准是“治军有法，守镇无虞，甲仗完备，差役均平，军无逃窜”；军官不许擅自离职，违者治罪。军队纪律分为群众纪律和战场纪律，有很多具体规定，如不得随意牧放牲畜践踏农田，作战时临阵逃脱处死，同在一个作战单位的人也要受罚，等等。军法的执行，原来由军队自身负责。忽必烈改革军政后，从中央到地方的监察机构对军官的不法行为也实行监督。士兵犯法，由所在军府核实情况后向上级机构申报处理意见，批准后方可实施处罚；如果事关民间百姓，还要与地方官府合审。由于军官享有种种特权，军事法规实际上不能严格实行。到了元朝中期，军律松弛，军纪涣散，已经成为普遍的现象。