这种结构由于没有了皇帝这个稳定的结合点，外戚和知识分子之间、外戚与外戚之间、知识分子与知识分子之间就展开了争夺权力的激烈争斗。最后，在政治斗争中，霍光取胜，大权独揽，政权开始由知识分子向外戚转移。不过身为外戚的霍光是个政治家，治国有方，所以在霍光主政的时期，政局还是比较稳定，延续了西汉帝国的强盛状态。
霍光死后，汉宣帝亲政，政权又回到了皇帝的手中。汉宣帝虽然将霍氏的势力从朝中清除，但是外戚势力仍然强大，只不过不再是霍氏，而变成了许氏和史氏。在重用外戚的同时，汉宣帝也重用知识分子，一时间出现了如邴吉、萧望之、韦玄成等名臣，可谓人才济济。政权结构又变成了皇帝、外戚、知识分子的三角形结构。于是就有了“吏称其职，民安其业”的汉宣之治。西汉帝国的国力在汉宣帝时期达到了极点。
汉宣帝死后，汉元帝继位，当时辅政大臣主要有三个，分别是大司马车骑将军史高、前将军光禄勋萧望之和光禄大夫周堪。史高是外戚，而萧望之和周堪则是知识分子的代表。这种权力架构基本延续了皇帝为中心，知识分子、后族为两翼的模式。然而就是在这个时期，另一支政治势力——宦官，悄悄地回到了政治中心。
西汉初期由于接受了秦末宦官赵高专权的教训，宦官势力一直比较微弱。然而，到了汉武帝时，这位与秦始皇在个性、喜好上极为相似、后来被并称为“秦皇汉武”的君主，居然也和秦始皇一样，让宦官进入了政府中枢，担任政府的中书令一职。在汉武帝看来，中书令不过就是替自己传传话、把自己的意见形成文字材料的人，没有什么决策权，根本不会有什么威胁。但是，他却忘记了在秦始皇活着时，赵高也不过就是传传话而已。到汉宣帝时宦官势力更加强大，宦官弘恭、石显掌控了中央政府的办公厅。不过，汉武帝和汉宣帝是两位强势皇帝，宦官只能传传话，并不能影响决策，算不上很有影响力的势力。而汉宣帝一死，情况就大不相同了。
正如赵高在秦始皇手下算不上个人物，而秦始皇一死就翻起大浪来一样，一旦失去了皇帝的制约，手握中央机要的宦官就厉害了。这时，由于汉元帝认为宦官没有家室，形不成盘根错节的庞大集团，加上宦官们善于顺风承旨，阿谀奉承，元帝可以称心如意，为所欲为。所以汉元帝对宦官非常信任，而他性格又比较懦弱，对宦官没有控制力。结果，以弘恭、石显为代表的宦官势力迅速抬头，立即对原有的皇帝为中心，知识分子、后族为两翼的权力架构形成了冲击。
知识分子一般是不屑与宦官这种不健全人打交道的，萧望之针对宦官势力的抬头，指出重用宦官本不是国家的旧制，又违背了古人不近刑余之人的规定，认为应当革除宦官掌权的弊制，以士人代替宦官担任的要职。同时，为了增强本方的力量，萧望之又引入皇族人物同时也是达学之士的刘更生（楚王刘交的后代，成帝时改名刘向）来对抗宦官，要求皇帝改正错误，史称“谋议劝道，正义古制多所欲匡正”。
宦官这边不会束手待毙，而正好外戚史高本人没什么本事，对于萧望之等人很忌妒，于是宦官和外戚联合起来，对知识分子集团发动了进攻。知识分子集团虽然有治国的能力，但是和皇帝的关系没有外戚和宦官这么亲密，结果皇帝支持外戚和宦官。在这种情况下，弘恭、石显二人唆使人上书诬告萧望之等“朋党称举，数谮诉大臣，毁离亲戚，欲以专擅权势”，要将萧望之逮捕入狱，萧望之不从，被迫饮鸩自杀。这样一来，知识分子集团受到严重打击。西汉政治权力的架构变成了皇帝、宦官加外戚的模式。
就在宦官势力在朝中崛起的同时，另一支势力也悄悄地发展起来，这就是地方豪族。自西汉建国以来，地方豪族一直是受打击的对象。西汉历代皇帝都借修陵寝之机强迫各地豪族迁往京城，以削弱他们的势力。在汉武帝时还对他们大开杀戒，比如杀郭解、杀灌夫。然而到了汉元帝时期，情况却发生了巨大的变化。
第一，绝对皇权的衰落。
在皇权比较强的时期，地方豪强的日子是比较难过的。因为地方豪族与皇帝的关系相对而言比较远，所以在一个强势皇帝面前，地方豪族是无力抵抗的，而要是外戚或者宦官掌权的话情况就好多了。地方豪强有经济实力，可以通过金钱来与外戚、宦官这些人搭上线。
举一个例子，汉武帝要把郭解一族迁到茂陵，郭解托关系找到大将军卫青，让他替自己求情。卫青就跑到汉武帝那里说：“郭解家贫不中徙。”但汉武帝说：“布衣权至使将军为言，此其家不贫。”一句话，把卫青就噎在那儿了。
从汉武帝死后，后族的势力就已经有了超越皇帝权力的势头。汉宣帝虽然强化了皇权，但也只能算是皇帝势力的回光返照。从元帝开始，后来的皇帝一个不如一个，大权都没有掌握在自己手里。这些当权派就要比皇帝好说话得多，给钱就行了。
第二，地方豪强本身发生了变化。
原先这些地方豪强是些什么人呢？相当一部分是原来战国时期的旧贵族的后裔，这些人是否忠于汉帝国？是否还有些人想着复国呢？汉朝的统治者心里没谱。所以，必须大力打击，以免他们对政权产生威胁。但到汉武帝之后，情况就大不相同了。这些地方上的豪门大族与汉帝国有着千丝万缕的联系，他们不太可能反叛。
这个时候，这些地方豪族主要有四类人。一是大商贾兼大地主。二是由于经营得法，从自耕农或小地主逐渐发展而来的大地主。三是皇亲国戚及其后代。四是高干子弟，也就是大官僚的后代亲属。尤其是后面这两种人在经济上占的比重比较大。这些皇亲国戚和高干子弟，他们的土地是政府给的，怎么会反政府？
既然皇帝没能力管，这些人又不反政府，那么当然是任由他们发展了。这些地方上的豪强大地主再加上皇族、后族、宦官和其他官僚大地主在地方上巧取豪夺，原本在土地私有制条件下自然会发生的土地兼并和集中速度大幅加快。与之相对应的，大量自耕农和中小地主破产，人民流离失所，很多人不得不卖儿卖女，甚至易子而食。西汉建国以来比较缓和的阶级矛盾逐渐尖锐了起来，农民起义不断爆发。
整个政权摇摇欲坠，而统治阶级内部的斗争却愈演愈烈。
在外戚和宦官联手打败了以萧望之为首的知识分子集团之后，后族和宦官以及后族之间又开始了斗争。宦官石显在当权十余年之后，由于靠山汉元帝的去世而被一脚踢出朝廷，取而代之的是以元帝的老婆太后王政君为首的王氏集团。
汉成帝死后，汉哀帝继位。这汉哀帝不是王太后所生，是定陶王之子，于是王氏失势，而哀帝的母亲丁氏和祖母傅氏两大家族掌权。同时，汉哀帝是个同性恋者，他的“皇后”董贤也权力无限。这样一来，丁、傅、董三家瓜分了朝中大权，而且相互斗争。
斗了没几年，哀帝死了。董贤是哀帝最宠信的“后妃”，但问题在于他不可能给哀帝生个儿子。没儿子继承帝位，就没了政治地位，哀帝一死，也就只能跟着玩完。哀帝死时，丁太后、傅太后也都已经死了，丁傅两家的政治靠山也没了，倒是王老太后活着。王老太后一声令下，王氏立即重掌朝纲。掌权人，就是王莽。