西汉前期大将军掌领兵征伐之事。西汉有前、后、左、右将军，但不常置。汉初军帅称将军，如曹参、周勃等都用此号。吕后、景帝时，灌婴、窦婴曾为大将军。武帝元朔五年（前124），卫青因大破匈奴而拜为大将军，以统率诸将军。元狩四年（前119），武帝为了尊宠有功的卫青、霍去病，初置大司马，以卫青为大司马大将军，以霍去病为大司马骠骑将军，这是西汉将军前冠以大司马的开端。
武帝临终时以霍光为大司马大将军，受遗诏辅佐幼主昭帝。从此，居此位者由军队的最高将领一变而为文职的宰辅之官，而且和丞相一样，置官属以理事。昭帝时，国事皆决于光；大司马大将军尽管位在丞相下，但实权则在丞相之上。宣帝时，外戚许延寿、史高以大司马车骑将军身份辅政，遂开以后王商、王凤等以外戚预政都须加上大司马车骑将军之类头衔的先声。
成帝末，确立了三公制。大司马后面不再联以将军之号，和丞相、大司空并列为三公。三公为皇帝的三个最高辅政之臣，但仍以大司马居首位。掌权重臣如董贤、王莽等，职位都为大司马。
东汉建武二十七年（公元51），改大司马为太尉，以后不再见大司马的名称。光武帝给予吴汉、耿等有功将帅以大将军之号，但无实权。然而，从和帝时起，居大将军之位者为外戚窦宪、邓骘、梁冀等人，其权势极大。大将军官属的秩禄、人数都超过太尉府，当时人还把大将军府和三公府合称为“四府”。从外戚专权以后，大将军的权位高于三公，直至汉末。