秦代最高的监察官，始皇时此官位次于左、右丞相，后逐渐成为御史台长官。西汉时御史大夫掌副丞相，故丞相、御史并称，丞相府和御史大夫府合称二府。凡军国大计，皇帝常和丞相、御史共同议决。丞相位缺，也可由御史大夫升任。御史大夫之秩为中二千石。由于御史和皇帝亲近，故群臣奏事须由他向上转达，皇帝下诏书，则先下御史，再达丞相、诸侯王或守、相，因而皇帝可利用御史大夫督察和牵制丞相。西汉初，诸王国也设此职，景帝中元三年（前147）时省去。
先秦的御史本为殿中执法官。西汉时御史大夫虽居副丞相之位以协助丞相综理大政，但仍偏重于执法或纠察，不仅可劾奏不法的大臣，而且还可奉诏收缚或审讯有罪的官吏。
御史大夫属官有御史中丞、侍御史、绣衣御史等。御史中丞之秩为千石，其职掌是外督部刺史或守、令，在朝可举劾百官，又主管朝中或地方上某些有关刑狱之事，如武帝时御史中丞咸宣治主父偃及淮南王狱。侍御史员十五人，秩为六百石。汉代所谓的御史，有时就是指侍御史。其职掌是举奏百官的非法和违失，也可奉诏逮捕和拷问有罪的官吏。绣衣御史不常置，其职务主要是奉命镇压人民的武装反抗活动。
成帝绥和元年（前8），更名御史大夫为大司空，并将其禄秩提高到丞相的标准，与丞相、大司马合称三公。哀帝建平二年（前5），复为御史大夫。元寿二年（前1），又改名大司空。从此到东汉，遂沿续不变。献帝时，在曹操专权的情况下，又恢复了丞相和御史大夫。
西汉晚期，从原来的丞相、御史大夫、大司马变为三公并立，是汉代官制中一大变革。到东汉初年，御史大夫的官属，由御史中丞总领，中丞替代御史大夫而成为执法和监察机构的首脑人物。
魏晋南北朝有时也恢复御史大夫，或替代司空，或替代御史中丞。隋、唐以后所设御史大夫，除宋代为虚衔外，均为御史台长官，不再具有汉、魏三公的性质。明改御史大夫为都御史，自此其官遂废。