明太祖平定天下以后，设立卫所制度。大的兵区叫卫，小的兵区叫所。当时每一兵区，设在一个府里的叫所，连着两个府的叫卫。每卫五千六百人，置卫指挥使统领，每卫下辖五个千户所。每千户所有兵一千一百二十人，指挥官称千户，千户所下辖十个百户所。每百户所有兵一百一十二人，指挥官称百户。下面分为二总旗，每总旗分为五小旗。府县各卫归各省都指挥使司管辖，各省都指挥使司又分别归统于中央的五军都督府领导。全国共设十六都司。其中十三都司与十三布政使司、按察使司同名同治，另外三都司设于北部边境，兼治军、民，分别是辽东都司、大宁都司、万全都司。都司之外，还有若干行都司、留守司，都统领卫所，地位与都司相近。1393年，全国共设立三百二十九卫，军队约一百八十万人。
卫所军士另立户籍，称军户。军户世代为军，军籍由都督府掌管。每户军户中须有一人在指定的卫所服役，称为正军，其子弟称余丁或军余。卫所军士由政府划拨土地，实行屯田，军士不用向政府纳赋税，但要交纳屯粮。屯粮征收数额很高，以供应军用。
卫所军队平时进行军事训练，一旦出兵打仗，由朝廷派一个将军，叫做总兵官，所带的就是卫所军队。战事结束，总兵官把兵权交出，军队回归卫所。
明代拱卫京师北京的卫军主要是五军都督府分统的四十八卫军。明成祖时，定名为“五军”，增到七十二卫，并添设三千营和神机营，与五军合称“京军三大营”。三大营是全国卫军的精锐部分。
明朝晚年与后金的战争，不断退缩乃至最后失败。钱穆先生分析其失败原因，主要有以下几点：首先，明代承平已久，已达二百多年，全国农民普遍安静和平地生活，没有见过兵革。其次，制度出现问题。如卫所制度是一个很好的制度，后来国势隆盛，四境太平，卫所军士一生不见打仗，精神懈怠，武备荒废。征调各地军士出征东北女真，全国骚动，缺乏很好的协调配合和训练。再次，由于多年承平，官府府库所藏的兵器锈蚀、军装霉变在所难免，军队的物质装备水平下降。最后，女真初步崛起，满洲八旗兵以征战为生存之道，处处适合作战的需要。笔者认为除了这几条之外，还有：明朝晚期政治腐败不堪，皇帝多年不理朝政，宦官专权，官僚们营营私利，党争误国；后金谋略、策略正确，八旗兵骁勇善战。
“明代兵制的利弊得失分析”
明代兵部、五军都督府（中、左、右、前、后）和卫所制度共同构成了明代的军事制度。兵部有出兵之令而无统兵之权，五军都督府有统兵之权而无出兵之令。有军事行动时，兵部奏请委派某一都督府某一都督率军出战，分调其他各都司、卫所的军士归其指挥。军事行动结束，将帅即归回原都督府，军士归回原卫所。这种体制让这几个机构既相互制约，又相互配合；既防止军权旁落，又防止统兵的都督与朝廷对抗，还对统兵的都督进行了适当的约束，同时对自己的军事威力没有造成太大的损害。
明代没有出现地方割据势力，与明代的政治制度和军事制度密切相关。明太祖设计的这套制度，对于防止地方权力过大、将领拥兵自重起到了积极的防范
作用。
卫所制度是明代的兵役制度，类似于唐代的府兵制，具有寓兵于农、兵农合一的色彩。卫所制度主要是一种驻防体系，非战时编制。
明太祖曾说：“吾养兵百万，要不费百姓一粒米。”卫所制度自成一个系统，确实可以做到不费百姓一粒米。而且卫所军士所进行的军屯推动了明初经济的恢复和发展，保证了当时的军储供应。
明代武功较之唐代，相差并不远，部分得益于明代军事制度的科学性与合理性。