我国早期的军队中，没有将军这一职务，掌管军事的官员称司马。当时，国家军队的数量并不多，天子只有六军（每军2500人），诸侯最多不超过三军。各军的统帅叫卿，卿以下叫大夫，大夫以下叫士。
到了春秋时代，诸侯战争频繁，各诸侯便想尽办法扩充兵力，一些大国常拥有比三军更多的兵力，但在编制上，他们又只能有三军，只能设三卿。于是，有些诸侯就把扩充军的统帅称为“将军”，意即率领一军的意思。行军打仗时，军队得由一人统一指挥，方能发生效力。因此，便在将军中选拔出大将军或上将军来全盘指挥。
到汉朝时期，军队数量更多，单设一位大将军管不过来了，于是又出现了不同级别的骠骑将军、车骑将军、卫将军等职位。
晋朝的将军名目众多，除骠骑、车骑、卫将军外，还有伏波、抚军、都护、镇军、中军、四镇、四征等大将军。南北朝时将军名目更多，权位也不一。
唐代以后，有上将军、大将军、将军，或环卫官、武散官。到了宋、元、明三朝，多以将军为武散官；殿廷武士也称将军。明清两代，有战事出征的时候，才置大将军和将军，战争结束则免去。清朝，将军成为宗室的爵号之一，而驻防各地的军事长官也称将军。