金朝初期实行的是一种全民皆兵的制度，“诸部之民，无它徭役，壮者皆兵，平居则听以佃渔射猎习为劳事，有警则下令部内，及遣使诣诸孛堇（女真语，部长之意）征兵，凡步骑之仗糗皆取备焉”。金入主中原后，这种义务兵的征选制度逐渐被签军与募军制度代替。签军实际上是强迫征兵，主要对象是金统治区的汉族人民，“有事则签取于民，事已则或亦放免。”募军则是采用汉族选募之制，国家以雇佣的形式招募兵员补充部队。金的侍卫亲军、射粮军均为选募。
金朝军事组织的特点是实行猛安谋克制度。猛安相当于千夫长，谋克相当于百夫长。这本是氏族社会的一种职称（猛安是部落军事首长，谋克是氏族长），在阿骨打以前早已存在。阿骨打把它制度化，作为固定的军制。规定300户为谋克，10谋克为猛安。对于归附的诸部，一律用猛安谋克之名称其首领，把诸部人民编入其中。这就使金军组织严密、号令统一、战斗力加强。由于金实行的是兵民合一制度，因此猛安谋克也是地方行政组织。在灭辽战争中，曾把猛安谋克制度推行于辽朝境内的汉人居住区，遭到汉人反对而停止。在对辽宋的作战中，猛安谋克制度曾起过重要作用。到金中期，猛安谋克逐渐瓦解，到金后期则已名存实亡，最后，金朝不得不靠组织虬军、忠孝军，来应付战争的需要。
金朝的军队名目繁多。以民族分类，有女真军、契丹军、渤海军、奚军、汉军及军（各部族杂军）等；以军队担负的职责和任务分类，则有侍卫亲军、镇防军、屯戍军（含永屯军和驱军）、屯田军、效节军、射粮军、牢城军、防城军、忠孝军、忠义军、长胜军等，忠孝、忠义、长胜等军都是临时组织的军队；以兵种分类，则有骑兵、步军、水军、炮军等。金以骑兵为主，一骑多马，战斗力较强；水军规模不小，但战斗力较弱，炮兵除使用冷兵器外，还使用火炮、铁火炮、飞火炮等火器作战。
金朝设置的最高军事机构是都元帅府，掌握全国的军事大权，下设都元帅和左、右副元帅各一员，由谙班（女真语义为“大”）勃极烈（女真语义为“部长”）和勃极烈担任。各路设军帅司或都统司，由都统统领本路军队，隶属都元帅府。金熙宗（完颜直，1119～1150）时，中央军事机构没有变化，地方则依辽、宋旧制设路、府、州、县四级，各路设兵马都总管统领军兵，路治所在地称总管府，各州刺史、节度使统领军兵，兼管政事。到海陵王时，中央废除了都元帅府，仿汉制设枢密院，由朝廷任命枢密使、副使掌握全国军事。