史高采纳了杨兴的建议，便把匡衡召到门下，不久便提拔匡衡为曹史，接着又将匡衡推荐给汉元帝。元帝早从萧望之那里闻得匡衡之名，甚有好感，很快便任命匡衡为郎中，随即升迁为博士、给事中，掌管经学教授，又兼殿中顾问，可以入侍皇帝，参与议论政事。就这样，匡衡很快就接近了皇权的核心。
屡次上书
汉元帝执政以后，说起来也奇怪，《春秋》书上所记载的各种灾异现象全都出现了，日月失明，星辰逆行，山崩地裂，地震石陨，夏天降霜，冬天打雷，草木春天凋零而秋天繁荣，饥荒瘟疫，犯罪满街。永光二年（公元前43年），又出现了日食和地震。古时候，人们把日食视为灾变，认为上天要惩罚世人，元帝十分恐慌，便召问匡衡：“朕嗣位以来，何故突异迭出？”匡衡早有准备，于是上了一道《上政治得失疏》的奏折。该奏折综观全局，提出了一系列改良措施。奏折很长，言辞也比较激烈：
“臣听说天与地之间，精气互相振荡，善恶互相推动，下面有什么事情发生，天上就会出现什么现象。阴阳的法则各自有所感应。太阳发生变化，静的事物便会运动；太阳被遮住光辉，明亮就将成为黑暗。各种水灾、旱灾等灾害就会接连出现。现在关东连续多年出现饥荒，百姓缺衣少食，生活贫困，甚至有的相互为食。这都是因为百姓的赋税过多，人民所提供的东西数量太大，而官吏心安理得地搜集这些钱物，不向上报告民情而出现的后果。陛下敬畏上天的告诫，哀怜百姓，大大减少开支，削减甘泉宫、建章宫的侍卫，推行文治，准备要经历唐虞那样的兴盛局面，杜绝殷周的衰败恶政。各位见到废除珠崖郡的诏书，没有一个不感到兴奋的，大家都认为将会出现太平盛世了。应当削减宫廷的费用，省去奢侈浮华的装饰，考订制度，整治外官、亲戚；接近忠诚正直的人，疏远虚信奸佞之徒；放弃郑卫之音乐，欣赏雅、颂之声；举荐才能出众的人，开辟直言进谏的路子；使品行高洁的人士显贵，昭示没有欲望的大道；观览《六艺》的旨意，观察世上的情况，了解自然的道理，通达和睦的造化，倡导仁义，匡正错误的习俗，改变人民的视线，让四海之内明明白白地都能见到本朝崇尚的道德规范，京城道德普及，美好的声誉传遍边境之外。然后广远深入的教化可以形成，礼教谦让的美德可以蔚然生成。”
元帝好儒术，重儒生，对于直言极谏的儒生多不怪罪。由于对匡衡早有好感，他听完了奏报，便称赞匡衡深思熟虑，奏折写得非常好，并号召各位大臣都要向匡衡学习，做事认真负责，敢于直言极谏。匡衡提出的改良措施，元帝虽然也做做样子采纳了一些，但大多都没有采纳。一次匡衡给元帝上疏，认为当时天下的风俗是贪财贱义，好声色，尚奢靡，而恶劣之风的根子则在朝廷。朝廷有勾心斗角，下面就有争斗之患，朝廷有专横之官，下面就有不让之士；朝廷有好利的大臣，下面就有盗窃的民贼。长安是天子的都城，直接承受圣明的教化，习俗却与地方无异，原因就在于地方学习京都，郡县学习朝廷，一切都是向上面学坏的。匡衡虽然提出了这些问题，但由于朝廷积重难返，况且元帝也未认真解决，所以上梁不正下梁歪，朝纲不正，必然会败坏地方吏治，以至贪官暴敛，酷吏横行，哀鸿遍野，民不聊生，西汉王朝眼看着向下坡路上滑去。
元帝即位之初，匈奴已经衰弱，内部矛盾重重。建昭三年（公元前36年）冬，郅支单于叛汉，初元四年（公元前45年）杀汉使者，逃往康居。西域都护甘延寿和副校蔚陈汤矫诏集西域各国兵，诛斩了郅支单于。次年，郅支单于的头颅送至京师，甘延寿要求元帝将头颅悬挂在长安的蛮夷邸间，以壮大汉朝声威。匡衡谏言，认为此时正直万物生长的春天，时令忌讳诛杀，不同意悬挂。元帝采取折中方案，诏命悬挂十日，然后掩埋。
由于匡衡工作勤勉，一心辅佐朝政，元帝十分满意，于是又将匡衡升迁为光禄大夫、太子少傅，让其掌管议论政事兼辅导太子刘骜。匡衡任少傅的几年间，多次上疏陈述朝廷应当办的事情，每逢朝廷议论政事，都依据经典回答元帝的询问，言辞大多符合法度义理。元帝对匡衡也愈加器重，公元前38年又任命他为九卿之一的光禄勋。一年后，匡衡被提拔为御史大夫。御史大夫乃三公之一，职司监察，丞相有缺，通常以御史大夫递补。建昭三年（公元前36年）六月，丞相韦玄成病逝。七月，匡衡代之做了宰相，被封为乐安侯，封食邑六百户。
元帝喜爱酒色，善鼓琴瑟，吹洞箫，还会自己作曲，自己吟唱。竟宁元年（公元前33年）的一天，元帝正在宫中自弹自唱，匈奴人呼韩邪单于要求朝见，说：为了表示与汉朝的亲近，愿意做汉人的女婿。元帝遂稀里糊涂将宫女王昭君赐给了他。当王昭君前来饯行时，元帝见王昭君丰容靓妆，光彩照人，不禁大为悔恨。原来，宫女太多，元帝无法一一见面，便命画工毛延寿给她们画像，送给元帝挑选。王昭君因不愿贿赂毛延寿，毛延寿故意把她画丑了些，所以没有被选中。元帝一直不知道王昭君惊人的美貌，发现自己被欺骗，便气不打一处来，一怒之下杀了画师毛延寿。王昭君出塞后，一面劝单于不要攻打汉朝，一面将汉族文化传播给匈奴，使匈奴和汉朝和睦相处了半个多世纪。
元帝失去王昭君以后，感到汉宫人去楼空，便挂起美人图，苦苦追忆，不久便忧郁成疾，不能亲政，整天在后宫贪图安逸。匡衡见状，心情非常担忧，大胆地写了一篇《戒妃匹、劝经学、威仪之则疏》呈报给了元帝。匡衡写道：“愿陛下详览得失盛衰之效，以定大基，采有德，戒声色，近严敬，远技能……留神动静之节，使群下得望盛德休光，以立基桢，天下幸甚！”匡衡劝元帝只有慎重地看待过去得失盛衰的教训，才能巩固自己的统治地位。要遵守经学的倡导，做一个有德之君，不要沉醉于后宫花天酒地、淫乐无度的生活中。匡衡的奏疏词情中肯，深得元帝赞赏。可是，这时元帝已经重病在身，动弹不了。
竟宁元年（公元前33年）五月，元帝驾崩，终年43岁。六月，皇太子刘骜即位，是为成帝。和元帝一样，成帝的生活也是相当腐朽的。早在为太子时，成帝就“湛于酒色”。继位后，更有很多荒唐之事。匡衡上疏劝成帝远声色，勤经书，严肃礼仪细节。成帝认真地采纳了他的意见。
建始元年（公元前32年），匡衡和御史大夫张谭又上书请求成帝在京城的南北郊举行祭天地的仪式，并撤销其他过多的祭祀坛址。他们说：“皇帝最重要的事情就是接受天的指命，而接受天的指命最重要的就是进行祭祀。按照天为阳，南也为阳，地为阴，北也为阴，应该在京城南郊祭天，在京城北郊祭地。这样，上天对于天子，就会在各个不同的祭祀场所接受天子的祭祀。”成帝接受了他们的提议，定“南北郊”制，在京城南郊祭天，在京城北郊祭地，同时罢甘泉、汾阴祠。匡衡在两朝宰相的任职期间，直言极谏，刚直不阿，为国家做出了很大贡献。
免为庶人
元帝在位时，中书令石显专权，将萧望之迫害致死。从前任宰相韦玄成到匡衡都惧怕石显，不敢违背他的意见。石显也因匡衡为萧望之推荐入仕，一直嫉恨于怀。但因匡衡为人谨慎，不敢冒犯石显，使石显无机报复。到了成帝即位，朝政由外戚王氏兄弟把持，石显失势，匡衡遂与御史大夫张谭一起上奏疏指责石显，追述石显的罪恶。成帝查实以后便将石显放归故乡，石显不食，病死在途中。谁知匡衡和御史大夫张谭刚奏劾石显的时候，却遭到了司隶校尉王尊的奏劾：“匡衡、张谭身居大臣之位，了解石显等人专权弄势，作威作福，不及时报告，而是阿谀奉承，故意顺从，附和臣下，欺瞒主上，这不是大臣辅佐朝政所应遵守的道义。既然奏明石显等人的罪过，却不陈述自己不忠的罪过，反而宣扬先皇帝任用坏人，匡衡、张谭二人罪至不道！”要求将匡衡、张谭同石显一并治罪。成帝念匡衡有师徒之谊而未加深究，发布诏令不予纠劾。
匡衡恐惧惭愧，上疏请罪，推说身体有病，请求退职，告老还乡，并呈上了丞相以及乐安侯的印信，却被成帝拒绝。成帝说：“你因道德修养纯美而列位于三公，先帝委任你处理政务，一直到朕很高兴与你同心合意，希望能有所成就。现在司隶校尉王尊诋毁你，将许多不是加在你的身上，朕感到非常悲伤。朕刚刚下发了责问司隶的状文，你为什么还有疑虑而上书归还侯位、请求退休呢？这是要表明朕不曾明察啊。你要仔细考虑这件事情，集中精神，接受医药治疗，多吃东西，自己保重。”成帝还赏赐给匡衡一些醇酒、牛肉。匡衡官复原职又重新治理朝政。
成帝因为是新即位，所以褒扬优待重臣，但是群臣中很多人都拥护王尊，匡衡见状，经常感到恐慌不安，每逢发生水旱灾害，风雨不调，就连连请求退休，让出官位。皇上便下诏书安慰，不允许他辞职。
匡衡非常感激成帝的恩爱，表示要好好辅佐成帝，为国家效力。可是仅仅过了一年，他的儿子匡昌任越骑校尉，在一次朋友聚会中，喝醉了酒，竟然动手杀人，被投进大牢。匡昌的属下与匡昌的弟弟、骠骑校尉匡盛为营救匡昌，密谋劫狱，事情败露，匡盛等人一并被捕入狱。京城长安顿时一片哗然。匡衡惊悉后，急忙摘掉官帽、赤着脚，上朝请罪。成帝念匡衡辅政有功，命匡衡戴帽穿鞋，未追究匡衡的责任，仅将匡昌处死，将匡盛发配滇南。
从这件事以后，匡衡感到自己在朝廷中的地位岌岌可危了。他就像汪洋大海里的一叶扁舟，摇摇晃晃，随便哪一泼水都有可能撞翻他这艘脆弱的船体。不久，灾难又一次降临到他的头上。
事情是这样的，匡衡的封邑在临淮郡僮县（今安徽省泗洪县东北）乐安乡，有田3100顷，南边以闽佰为界。初元元年（公元前48年），临淮郡编制地图的时候，误将闽佰南面的平陵佰划为了乐安乡的南界，多出400顷。匡衡在京城并不知道这种情况。几年后，匡衡封为乐安侯。过了四年，临淮郡再次编制地图时，纠正了乐安乡失误的版域。后来，集曹掾陆赐责问临淮郡：“按以前的地图，乐安乡南都是以平陵佰为界，今却以闽佰为界，为什么？”临淮郡遂又改回以平陵佰为界，给匡衡的封邑多划出了400顷土地。
建始三年（公元前30年），司隶校尉等几位官员指控匡衡在封邑之中“专地盗土”（即擅自兼并土地），以权谋私，违背法制，不合春秋之义。一位名叫骏的司隶校尉和一位名字叫忠的少府廷尉上奏疏弹劾说：“匡衡管辖之下的官员盗窃的财物价值达十金以上，已达到治罪的标准。《春秋》的大义规定诸侯不能在其封邑专权，而要一致遵守国家的法律制度。匡衡的官位在三公之列，辅佐国家政务，领导统计工作，却在统计簿已定的情况下违背法律制度，在采邑中专权，侵占土地来增加自己的收入，违背了道德和法规。”众大臣也群起指斥，要求查办。成帝责问匡衡：“这是怎么回事？”匡衡解释说：“此事为匡颖等人所为，臣十年之间不出长安城门，实在不知底里。”
成帝遂命有司再查，让匡衡回家反省。不久，匡衡呈上丞相、乐安侯印绶，请求惩罚。成帝见再也无法庇护，遂准予劾奏，传令司隶校尉即时查抄丞相府，追缴匡衡所有非法所得。念匡衡为三朝元老，年迈多病，特免官黜爵，贬为平民，放归故里。
匡衡被免职以后，将原来栽种在自家院里的石榴树一同带回了山东老家。他在故里西边的鼋山上建了“鼋山书院”，将一部分石榴树种在鼋山上。晚年他即在此读书着述，弄榴养鹤，收徒授艺，说书谈经。他悉心辅导儿孙们学习经学，儿子匡咸成为了经学大家，官位达到了九卿。家中世代有许多做博士的人。后来，石榴树越长越多，他的家人又将一部分石榴树栽种在鼋山的北面，形成了今天的万亩石榴园。匡衡死后，被安葬在今枣庄市峄城区西南7公里的榴园镇匡谈村北密林之中。其墓高约5米，墓前一碑上书：“汉王相乐安侯匡衡之墓”，是清代乾隆四十年（公元1775年）峄县知县张玉树重修匡衡墓时所立。
张禹——从经学家到宰相
张禹（？-公元前5年），字子文，西汉河内轵（今河南济源）人，初元年间，因为通晓并教授太子《论语》升为光禄大夫，东平内史。成帝河平四年（公元前25年）拜为丞相，封安昌侯，在位六年，以老病归，虽然居家，但每年军国大事，必定参与裁定，至死都享受天子师的礼遇，卒谥节侯。
张禹与经学