丞相之“丞”与“承”相通，即承君主的旨意来处理国家事务的人，为帝王的股肱之臣。丞相制由春秋、战国时期各诸侯国的“相卿制度”演变而来。战国末期，韩、赵、魏、燕、齐等国称总理全国事务之人为“相”或“相国”，楚国称为“令尹”，称呼的不同与各国的历史传统有关。
秦从武王开始，设左右丞相，魏冉、吕不韦都曾居此职。这时的丞相除拥有行政权力外，还包括军事权。秦王为了推崇某一丞相，另授“相国”称号，相国与丞相职责一样，一旦设立相国，便不再设左、右丞相。
秦始皇统一六国以后，以丞相、太尉、御史大夫为三公。丞相协助皇帝处理天下庶务，太尉为全国最高军事长官，御史大夫掌监察并且作为丞相的继承者。
汉承秦制，置丞相，间或亦置相国或左右丞相。汉初的丞相集决策、司法、行政各项大权于一身，总领百僚，有权任免官吏、考课吏治，甚至诛杀犯官，直接参与朝廷决策、制定法律政令，而且对皇帝做出的决定，甚至可以拒不执行。
汉成帝以后，丞相改为大司徒，与大司马、大司空同行相权。这是旨在分散丞相权力的一项措施。丞相、御史被分割为三，三公实际上是三个宰辅。哀帝时改丞相为大司徒，东汉初又改大司徒、大司空为司徒、司空，改大司马为太尉，三公之中以太尉为最尊。
东汉末年，曹操罢三公，又恢复了丞相之职。不过曹操罢三公是出于集权需要，以自己为丞相表面上看似相权提高，然而曹操以丞相行皇帝之实，相权反而无形中归于尚书台，荀以侍中尚书令行宰相之实。
魏晋时期，以中书监、中书令、侍中、尚书令、仆射以及重要的将军等官员为相，但无定名也无定员。南北朝期间，宋、齐、梁、陈、魏、周等朝，均设丞相或相国。隋代，废除丞相，以尚书、中书、门下三省长官行相权。三省中，中书省决策，门下省驳议，尚书省执行。
唐承隋制，以三省之长共议国政事务。唐高宗时，尚书省长官被排除在宰相群外，中书、门下省的运行逐渐合一，使决策与行政脱离了开来。唐玄宗开元后，行相权者加衔称同中书门下平章事，常有两至三人，多不过四人，中一人为某省长官，其余人则为某省副官。
北宋中央实行军政、民政、财政三权分立，丞相的地位和权力又受到严重削弱。其中丞相（同平章事）只管民政，军政划归枢密使，财政划归了三司使。南宋时，复设左右丞相，丞相再次掌握军政权。
元朝时，中书省的实际长官称左右丞相，职掌全国最高行政事务。明初沿元制，但1360年后，朱元璋罢中书省，自揽相权，其余事务则划归六部管辖。明成祖以后，内阁大学士成为实际上的行相权者，但内阁作为皇帝的私人秘书机构，并非正式的官僚机构，内阁掌握相权，主要体现在它参与中枢决策。内阁没有名分地参与决策说明相权已经削弱到只为参谋顾问的地步。
清代在中央集权方面的显著表现是雍正设立“军机房”（后改称“军机处”），这一机构原先作为清朝对西北用兵的办事机构，因为方便皇帝集权，遂常设不废。军机大臣无决策权，完全听从皇帝旨意，又因军机大臣参与军国大事的商议传达，遂夺内阁实权。清代内阁首辅与首席军机大臣都无决策权，只有议事顾问的权力。