宋太祖建立宋朝后，在平定各割据势力同时，还针对长期以来藩镇割据带来的政权频繁更迭，采取了一系列集权于中央的政治改革措施，逐步建立起专制主义中央集权的封建统治。北宋的军制正是在这个基础上形成的。
领导体制
北宋军队的领导权集中在皇帝手中。宋太祖出身行伍，由禁军小校逐步升迁到禁军将帅，进而黄袍加身，因此，深知五代军制的弊病。他认真总结了藩镇敢于抗拒王室，将佐可以逐杀主帅以至称王称帝的历史教训，认识到：“兵权所在，则随以兴，兵权所去，则随以亡。”作为皇帝，必须牢牢掌握兵权，才能稳固政权，使其长久。而要牢牢掌握兵权，就必须改革兵制，削夺武将的权力，改变武人左右政局的局面。为此，他在取得政权后，立即执行了“罢功臣，释兵权，制将帅，立兵制”的政策，将中央和地方的军权收归皇帝手中。在中央，以“杯酒释兵权”解除功臣宿将的兵权；在地方，则以文臣知州军事，将节度使的行政权与兵权解除。
为了从体制上限制军队将帅的权限，使兵权完全集中在皇帝手中得以实现，宋王朝在中央实行了以枢密院掌管军政军令，三衙分掌马步军的训练与日常管理、临时派将统兵出征的分权制度。
枢密院是宋代主管军机事务的最高机关，与中书并称二府。枢密院的长官是枢密使、副使、或知院事、同知院事。枢密使、副使与参知政事（副宰相）合称“执政”，与宰相共同负责军国要政，是朝廷中地位仅次于宰相的最高行政长官之一。枢密院负责制定战略决策，处理国防事务，招募、检阅、调遣军队。枢密院的组织，在正副长官之下，还有签书院事与同签书院事，又设都承旨、副都承旨，负责内部事务；其下又有检详官、计议官、编修官，为枢密院的骨干。
三衙是宋代分掌全国军队的最高指挥机关，其全名是殿前都指挥使司（简称殿前司）、侍卫亲军马军都指挥使司和侍卫亲军步军都指挥使司（简称侍卫马军司和侍卫步军司）。三衙各设都指挥使、副都指挥使和都虞侯，但很少同时配齐九员。三衙的都指挥使简称为殿帅、马帅、步帅，合称三帅。三衙掌管全国军队的统制训练、番卫戍守、迁补赏罚。三衙互不统属，直接隶属于皇帝。
北宋派禁军出师时，不用三衙将帅统兵，而是由皇帝临时任命其他官员为率臣（帅臣）。事定之后，兵归三衙，统兵将帅各还本职。
北宋军队的领导体制把调兵权、统兵权、握兵权一分为三，正像靖康元年（1126）知枢密院事李纲所说：“枢密掌兵籍、虎符，三衙管诸军，率臣主兵柄，各有分守。一祖宗制兵之法，天下之兵，本于枢密，有发兵之权，而无握兵之重；京师之兵，总于三帅，有握兵之重，而无发兵之权。上下相维，不得专制，此所以百三十余年无兵变也。”这种军制对于消弭200多年的兵祸，保障社会的安定，维持正常的生产和生活秩序，起了良好作用。但另一方面，由于事不得专而又互相掣肘，最后都听命于皇帝一人，甚至主帅在战场上，也得按皇帝事先钦定的阵图指挥作战，以致往往贻误战机，招致失败。
军队体制
军队分类北宋的军队主要有三种：禁兵、厢兵和乡兵，边境地区还有蕃兵。
禁兵或禁军，是国家的正规军，天子的卫兵。禁军的任务是守备京师、担任征战和屯戍边郡、地方。禁军中最亲近扈从的称诸班直，担任皇帝的警卫工作；其次的隶属于御前忠佐军头司、皇城司、骐骥院，负责宫廷守卫。其余诸军是用以“守京师、备征戍”。禁军的编制，一般以50人为1队，2队为1都，5都为1指挥（营），5指挥为1军，10军为1厢。指挥是基本作战单位。厢、军的主官是都指挥使，指挥则由指挥使和副指挥使统领，都的指挥官马军是军使和副兵马使、步兵是都头和副都头。太祖时，禁军员额19.3万，太宗时35.8万，真宗时43.2万，仁宗时82.6万，英宗时66.3万，神宗时61.2万。
厢兵，是国家正规军中的地方军，名义上是属于侍卫马军司和侍卫步军司管辖。太祖乾德三年（965）八月与真宗天禧元年（1017），曾两次选厢军精锐者，编入禁军。厢兵只用于劳役，一般不进行军事训练，主要从事畜牧缮修等杂役。直到仁宗庆历年间，才开始教阅厢兵。神宗时，下令将教阅厢兵都升为禁军，于是剩下的厢兵又都成为不教阅的杂役兵。神宗元丰末年（1085），厢兵共约23万人。
蕃兵是由少数民族组成的非正规边防地方军。北宋仁宗时期，为应付西夏，在宋夏交界的西北边境地区——陕西的秦凤、泾原、环庆、鹿阝延四路与河东的石、隰、鹿阝、府四州，从内属的各羌族部落中招募士兵创制而成。蕃兵以部族为单位，朝廷对蕃兵的首领区分不同等级授予都军主、军主等职，给予钱粮、衣服和土地。陕西的四路秦风、泾原、环庆、鹿阝延，共有蕃兵约10万人。蕃兵虽属地方军，但熟悉边情，勇敢善战，有较强的战斗力。
乡兵也称民兵，有的称强壮、弓箭手，是非正规的地方武装，一般不脱离生产。乡兵是北宋政府为防御辽和西夏，在沿边界的河北、河东、陕西各地农民中征、雇兵员建成的。乡兵熟悉边界情况，为保卫国家故土而战，因而有较强的战斗力。仁宗康定初（1040），河北、河东的乡兵，共约43万人。
骑兵和水师宋军有陆军和水军两个军种；陆军有步军和骑兵两个兵种。骑兵行程远、速度快、机动性强，适宜于平原旷野的远程作战，是军队中的主要突击力量。
宋朝的骑兵主要集中在殿前司和侍卫马军司中。但由于中唐以来丧失了西北产马地区，无论北宋政府在西北地区向少数民族买马，以物资换马，或设置监牧繁殖马匹和神宗以后的户马法、保马法（令富户养马，分配保甲养马），以及不得已而施行的“括买”（即籍民马而市之以给军），实行马匹统购政策，都不能满足军马的供应，经常出现兵多马少，部分骑兵无马的情况。因此终北宋一朝都没建立起强大的骑兵，影响了军队战斗力。
北宋在统一战争中建立了一支强大的水军，在平定各割据势力时水兵发挥了重要作用。北宋初年，驻屯京师、担任宿卫的禁军水军，有神卫水军和殿前司、步军司的两支虎翼水军，以及澄海水军弩手等四支水军。在山东半岛的登州（今山东蓬莱），北宋屯有重兵，经常练习水战，并建置澄海水军弩手两指挥和由厢兵升为禁兵的平海水军两指挥于此，这是北宋最大的一支水军。
北宋厢军中组建的水军比禁兵多，配置于河东、陕西、淮南、江南、两浙、荆湖、福建、利州、广南等9路，而且大部分部署在南方，兼有负责地方治安的责任。
禁军的招募、训练和军事法规北宋时期，封建统治者非常重视军队（主要是禁军）的招募、拣选和训练。
宋代军队的补充，主要依靠招募，实行的是募兵制，禁军和厢兵都以此法补充兵员。据《宋史》卷一九三《兵七》记载，招兵办法是：“或募土人，就所在团立；或取营伍子弟，听从本军；或募饥民，以补本城；或以有罪，配隶给役。”这里除了配隶的罪犯以外，其他都是募兵。尤其引人注意的是，宋统治者非常重视从灾民中募兵，招募灾民为兵是宋朝的传统国策。招募灾民为兵的好处是一可以防止灾民造反，二可以将反抗地主阶级的饥民转化为维护地主阶级利益的力量。所以一遇荒年，政府便大量招兵，从而形成北宋冗兵冗费的局面。
北宋招募士兵时，“先度人材，次阅走跃，试瞻视，然后黥面，赐以缗钱、衣履，而隶诸籍”。
北宋时，对军士要进行定期或不定期的拣选，骁勇者升其籍，老弱怯懦者降低军种或军级，或退充剩员，甚至开除军籍，以此来保证禁军的素质，提高军队的战斗力。宋朝规定从厢兵升禁兵、从禁兵升上军、从上军升班直，皇帝都要亲自到场检阅、接见。宋太祖时，为了把各地优秀人才选入禁军，还派使者到各地调查，把那些才力技艺出众的人选拔到开封，充当禁军。
北宋初期，从宋太祖始，重视禁军的训练，亲自到郊外检阅部队，观看士兵的军事训练。北宋政府规定，“禁军月奉五百以上，皆日习武技；三百以下，或给役，或习技”。“凡诸日习之法，以鼓声为节，骑兵五习，步兵四习，以其坐作进退非施于两军相当者然。”通过严格的训练，提高了宋军的战斗力，使宋军在统一战争中节节胜利。但是到宋仁宗以后，由于招募太滥，拣选不实，训练太差，使北宋禁军的战斗力急剧下降，在对西夏的战争中屡次败北。
北宋军队实行严格的等级制度，即所谓“阶级法”，使各级军校各司其职，下级绝对服从上级，对禁军长吏，“付以生杀，寓威于阶级之间，使不得动”，以此保证严明的军纪。南宋时，孝宗说：太祖设阶级法，“二百年军中不变乱，盖出于此”。
为防止禁军士兵骄惰，北宋还制订了许多禁戒，要使“士卒衣食无外慕，安辛苦而易使”。北宋的军事法规很多，北宋曾公亮等人所撰《武经总要》前集卷十四记载的《罚条》，共计有72条。据南宋王质所举，“有斗伤之禁，有博戏之禁，有禽犬之禁，有巫卜之禁，有饮禁，有滥禁，有逃禁，有盗禁，有诡名之禁，有匿奸之禁，有敛财之禁，有弛艺之禁，有窃造军器之禁，有私传兵武之禁，有出法物之禁，有结义社之禁”。对禁兵的服饰饮食都有严格规定：如禁军士兵不得衣皂，只许衣褐，长不得过膝，红紫之服更不许穿；葱韭不得入军门，鱼肉和酒更是严禁入军营的。禁军士兵，无故不令出班。每月请月粮时，营在城西者，即于城东支，营在城东者，即于城西给，不许雇车或人帮助，必须士兵自己背负。
北宋还制定了更戍法。更戍就是经常变换禁军的戍守地区，规定除殿前司捧日、天武两军外，“自龙卫而下，皆番戍诸路，有事即以征讨”。戍更的时间，是有规定的。据《宋史》卷一九六《兵十》记载，京东、京西、河北、河东、陕西、江南、淮南、两浙、荆湖、川峡、广南东路三年，广南西路二年，陕西城寨巡检并将领下兵半年。《文献通考》卷一五三《兵五》记载：“五代承唐藩镇之弊，兵骄而将专，务自封殖，横猾难制。祖宗（宋太祖）初定天下，惩创其弊，分遣禁旅，戍守边地，率一、二年而更。欲使往来道路，足以习劳苦，南北番戍，足以均劳逸。故将不得专其兵，而兵亦不知骄惰。”司马光也说实行更戍法是为了使军士“均劳逸，知艰难，识战斗，习山川”。实际上，宋太祖实行更戍法最主要的目的是使驻军统兵官和地方官吏不敢互相结托、阴谋叛乱，也使将不知兵，兵不知将，造成将兵分离，不致率兵叛乱。
在更戍法的制度下，北方禁兵往南方移屯，常常不服水土，造成部队非正常减员，削弱了战斗力。更戍法造成的将不知兵，兵不知将，更是造成战争失败的重要原因。宋太宗雍熙三年（986），曹彬在涿州大败，原因之一就是“元戎不知将校之能否，将校不知三军之勇怯”。
更戍法实行了百多年，直到宋神宗时，宋朝在对辽和西夏打了许多败仗之后，才“慨然更制”，规定禁兵不再出戍。