秦在短短10年中迅速由地处西僻的诸侯跃升为统一全国的王朝，疆域版图猛增了几十倍，因此，如何巩固诸侯故地便成了崭新的课题。李斯在设计中央机构时，便在考虑对六国统治的方略。
在李斯及其遥远的古代，曾经存在着两种基本的地方建制，一是西周以来的分封制，一是春秋以来产生的郡县制。
所谓分封制是西周时代普遍实行的地方建制，具体是周天子将土地和人民分封给亲戚子弟和功臣，让他们在各地建立诸侯国，诸侯国国君对天子行使各种义务。分封制在扩张领土、加强边地开发和发展中原人民与周边各族关系、促进民族同化等方面起过积极作用。但在分封制下，诸侯得以独掌封国政治、经济、军事大权，往往发展成为独立的政治实体，遂成天下割据的局面。
所谓郡县制是春秋时代各诸侯国鉴于分封制的弊端而采用的一种新的地方建制。开始的时候，县的地位高于郡，各国君主往往是在新征服的地区设县、郡，由君主直接委派官吏进行统治。最先实行县制的是秦国。公元前688年，秦武公攻取邽和冀戎，分别设县进行治理，第二年又在杜和郑设县。继秦之后，楚、晋也先后在新辟国土上设县。古文中“县”与“悬”相通，因为新辟国土距原受封疆域较远，犹如悬挂于边境，故称县。县的设置具有国防意义，为抵御外族入侵的军事缓冲地带。郡的设置大抵也在春秋初年。公元前651年，晋国最先设立过郡，但春秋时期，郡的设立并不常见，到战国时代郡的设立增多，当时，秦、赵、楚、魏、燕为国防需要都设置有郡，而且郡的地位还不断提高，到战国中期遂初步形成郡统县的两级行政制，战国后期郡县制在各国已经普遍推行。但是，在战国时代，郡县制始终是分封制的附庸，君主可以将县赐给臣僚，县尹还可以世袭。尽管如此，郡县制毕竟为分封制的严密铁罐撕开了一个窗口，为新时代的地方建制，透出了一丝光明。
法家都是主张“法后王”的，对新生事物多持肯定态度，李斯认定郡县制是消除割据、严格控制六国旧贵族故地、防止复辟的最好办法，不过当时秦国朝廷上下对采用什么地方建制并没有达成共识。
事实上，那些置生死于度外，长期追随秦始皇左右，转战南北的秦朝武将们的最大愿望，大都是想分封裂土，成为王侯的。秦在战国时推行的军功爵制，便满足了将军们的心理需求。当年老将王翦灭楚时，就提出过这种要求。原来，王翦出师时，秦王曾亲自到咸阳郊外灞上送行。王翦临别，对始皇说：“王翦贫穷破落，家无余财，万一不幸，战死疆场，请大王关照子孙，赐其田业。”
王翦之意是要分封裂土，割地而治。秦王说：“将军只管出师，不必担心后事！”
始皇并没有直接答应王翦的请求，而是讲了一句模棱两可的话，王翦生怕始皇没有明白其意，又补充说：“为大王领兵作战，有功不能封侯，所以趁大王还看得起我的时候，及早请赐田业为子孙后代作安排。”
始皇大笑，不置可否。王翦不得要领，无奈出师，兵至函谷关后，他又先后五次请始皇赐田业资产。老将王翦不断求秦王赐土地，代表了当时秦国将领求官求财、求封地而治的普遍心理。
由于统治阶级内部关于地方行政制度设置没有达成共识，所以秦统一以后，便在朝廷上对地方行政制度进行讨论时发生了严重的分歧。公元前221年，秦始皇召集群臣讨论地方行政设置问题，当时丞相王绾和一批军事将领都坚持实行分封制。王绾说：
“各诸侯国新近被攻破灭亡，燕、齐、楚等国地处偏远，不设置王国，便无法镇抚这些被征服的国家。请在燕、齐、楚等国立皇帝之子为王，望皇帝准奏，如此则天下幸甚。”
秦始皇认为，要不要设置诸侯王国，这是有关国家体制的重大问题，既然以王绾丞相为首的一班大臣上言要设置诸侯王国，秦始皇没有对此事立即表态，而是将这一问题交付大臣们讨论，“下其议于群臣”。在讨论中，大臣们都认为王绾等人的意见很有道理，于国有利，即所谓“群臣皆以为便”。在这个时刻，李斯站出来力排众议，他说：
“分封之事，对于国家安危关系重大，应该郑重考虑。古今的事情，都要因时而定。夏、商二代，诸侯众多，不可削夺。因此分封异性诸侯甚多，置四岳以统之。到了周朝，异姓诸侯已削弱。于是，文、武二王大封同姓子弟，使其拱卫王室。但是到了周朝衰落的时候，文、武所封的同姓诸侯不但相互疏远，并且互为仇敌，周天子不能控制，攻战不休。春秋之后诸侯国的大夫强大了，也多专权对抗国君。如鲁国之三恒，晋国之六卿，齐国之田氏，为权而争，血流成河，前车之鉴足以使世人儆戒。今海内统一，朝廷之下，应立郡县，由朝廷直接统辖。至于诸位公子、功臣只要拿赋税重重赏赐他们就够了。如果这样，天下就没有二心，容易管理。这才是安定国家的方法，设置诸侯，并不妥当。”
秦始皇其实是不同意在统一天下后分封诸侯王国的，但他见王绾等人提出这一建议，而王绾本人又身为丞相，不便立即表态，而是通过交付群臣讨论的方式，让两种不同意见充分发表并相互辩论，来进一步阐述郡县制的优越性，驳斥实行分封的主张，在舆论上为郡县天下鸣锣开道。因此，秦始皇见李斯既已论证了“置诸侯不便”，便在李斯议论的基础上，进一步明确指出：
“天下长期苦战不休，就是因为有诸侯王的缘故。赖祖宗的神灵，天下得以统一安定，再设置诸侯王国，这是在他们之间树立刀兵。如此还想要求得到安宁，岂不是难以做到的吗？还是廷尉的议论正确。”
秦始皇既然肯定了李斯的意见，明确地指出分封诸侯的害处，否定了王绾等人的设置诸侯王国的建议，于是便下令在中国实行郡县制度，“分天下以为三十六郡”。李斯被任命为帝国丞相，成为了大秦帝国一人之下、万人之上的人物。
王绾与李斯的一场辩论，事关刚刚建立的大秦帝国究竟要施行怎样一种国家政体的重大问题。从历史的发展来看，分封已不适应当时时代发展的需要；而郡县天下，则是自战国以来历史发展的大势所趋。秦始皇作为帝国的创始皇帝，他旗帜鲜明地赞成李斯的主张，作出了郡县天下、摈弃分封诸侯的决定，这是秦始皇对中国历史发展所作出的一大贡献。
秦始皇为推行郡县天下的法令，他对分封制度作了彻底的否定，这不仅是空前的壮举，而且也为此后的历代封建王朝所不及。这种彻底否定，其核心内容便是取消“食邑”、“食封”制。秦统一六国之前，仍在实行食邑、食封制度，如吕不韦被封为文信侯，食洛阳10万户，如此等等。秦始皇取消食邑、食封，对各级官吏均按其职务给予不同的俸禄，作为官员们的经济生活来源。诚然，秦帝国仍实行二十等爵制，也进行封侯。然而，无论享有多么高的爵位，都不享有封邑。秦王朝之后的历代封建王朝，大多都没有做到这一点，食邑制度在中国历史上曾残存很长很长的时间。
公元前221年，秦始皇下达天下以为36郡的法令，这36郡及其治所是：
三川郡治所在荥阳（今河南荥阳东北）；
河东郡治所在安邑（今河南夏县西北）；
南阳郡治所在宛（今河南南阳）；
南郡治所在郢（今湖北江陵）；
九江郡治所在寿春（今安徽寿县）；
会稽郡治所在吴（今江苏苏州）；
颍川郡治所在阳翟（今河南禹县）；
砀郡治所在砀（今安徽砀山）：
泗水郡治所在沛（今江苏沛县东）；
薛郡治所在鲁（今山东曲阜）；
东郡治所在濮阳（今河南濮阳南）；
琅琊郡治所在琅琊（今山东胶南）；
齐郡治所在临淄（今山东临淄北）；
上谷郡治所在沮阳（今河北怀来东南）；
渔阳郡治所在渔阳（今河北密云西南）；
右北平郡治所在无终（今河北蓟县）；
辽西郡治所在阳乐（今辽宁锦州西北）；
辽东郡治所在襄平（今辽宁辽阳市）；
代郡治所在代（今河北蔚县）；
钜鹿郡治所在巨鹿（今河北平乡西南）；
邯郸郡治所在邯郸（今河北邯郸市西南）；
上党郡治所在长子（今山西长子西）；
太原郡治所在晋阳（今山西太原西南）；
云中郡治所在云中（今内蒙托克托县东北）；
雁门郡治所在善无（今山西右玉南）；
上郡治所在肤施（今陕西榆林东南）；
陇西郡治所在狄道（今甘肃临洮）；
北地郡治所在义渠（今甘肃宁县西北）；
汉中郡治所在南郑（今陕西汉中市）；
巴郡治所在江州（今四川重庆市江北）；
蜀郡治所成都（今四川成都市）；
黔中郡治所在黔中（今湖南沅陵西）；
长沙郡治所在临湘（今湖南长沙市）；
广阳郡治所在蓟（今北京市西南）；
楚郡治所在陈（今河南淮阳）；
以上35郡，连同京都地区的“内史”，共36郡。
秦帝国于公元前221年分天下为36郡后，又不断向外扩张领土，并另设新郡。新设的郡有：
常山郡，治所可能在元氏（今河北正定南）；
河内郡治所在朝歌（今河南淇县东）；
衡山郡治所在邾（今湖北黄岗南）；
东海郡治所在郯（今山东郯城西）；
胶东郡治所在即墨（今山东平度东南）；
济北郡治所在博阳（今山东泰安）；
闽中郡治所在冶（今福建福州）；
南海郡治所在番禺（今广东广州市）；
桂林郡治所在广郁（今广西凌乐东）；
象郡治所在象林（今越南会安附近）；
九原郡治所在九原（今内蒙包头市西北）。
以上11郡，连同公元前221年所设的35郡（不含“内史”），秦帝国共设有46郡。
郡内辖县，郡和县构成地方行政区，都设郡守，为一郡最高长官；县设县令或县长，为一县最高长官。郡守和县令长由皇帝任免，接受中央朝廷的统辖，是为皇帝办事的地方机关首领。县以下还有乡、亭、里、什伍等基层组织，起了层层控制、权力逐级向上集中的作用。这套地方行政体制被称为郡县制，是一套保障中央控制地方、集中地方权力的有效制度。
李斯协助始皇帝建立了皇权独裁制度，又极力主张在地方普遍实行了郡县制度，两方面工作完成后，一个高度集权和统一的多民族秦朝帝国也就被开创出来了，而且对后来历代中华多民族统一国家发生了重大而深远的影响。后来的中国历代统一王朝大体都是照秦朝帝国模式组建，在秦始皇、李斯奠定的秦朝政治制度的基础上向前发展。