汉文帝力倡节俭的极端表现，是在营建他的陵墓霸陵时，提出“皆以瓦器，不得以金银铜锡为饰，不治坟，欲为省，毋烦民。”随葬品使用陶器，地宫不允许使用金银铜锡作豪华的装饰，陵上地面不筑封土，以求俭省，希望不致烦扰民众。
霸陵薄葬，据说是听从了张释之的建议。
《史记·张释之冯唐列传》记载，张释之任中郎将时，跟随汉文帝到霸陵。当时慎夫人随从，汉文帝指示慎夫人新丰道，说：“此走邯郸道也。”又让慎夫人鼓瑟，汉文帝亲自应和着瑟声而歌，“意惨凄悲怀”，他环顾群臣说：啊！以北山石为棺椁，用纻絮斮陈，蕠漆其间，谁能够破坏这陵墓呢！左右群臣都赞同道：是啊。张释之却进前说道：“使其中有可欲者，虽锢南山犹有隙；使其中无可欲者，虽无石椁，又何戚焉！”如果其中有可以刺激盗墓者贪欲的随葬品，就是把南山浇铸成一个整体，也有空隙可以盗掘；如果其中没有令盗墓者垂涎者，就是没有石椁，又有什么可以担心的呢！汉文帝认为他说得对。此后张释之就被提升为廷尉。
唐代诗人鲍溶的《倚瑟行》回顾了这一故事，其中写道：“金舆传惊灞浐水，龙旗参天行殿巍。左文皇帝右慎姬，北面侍臣张释之。因知高处邯郸道，寿陵已见生秋草。万世何人不此归，一言出口堪生老。高歌倚瑟流清悲，徐乐哀生知为谁。臣惊欢叹不可放，愿赐一言释名妄。明珠为日红亭亭，水银为河玉为星。泉宫一闭秦国丧，牧童弄火骊山上。与世无情在速贫，弃尸于野由斯葬。生死茫茫不可知，视不一姓君莫悲。始皇有训二世哲，君独何人至于斯。灞陵一代无发毁，俭风本自张廷尉。”
汉文帝后七年（前157）夏六月己亥日去世，遗诏有对丧葬事宜的明确指令。他任命中尉周亚夫为车骑将军，属国徐悍为将屯将军，郎中令张武为复土将军，发近县见卒万六千人，发内史卒万五千人，藏郭穿复土属将军张武。按照这一安排，乙巳日，汉文帝葬霸陵。同日，群臣皆顿首上尊号曰孝文皇帝。两天后，汉景帝刘启正式登基。可以说，汉景帝刘启继承汉王朝的最高统治权之后完成的第一件大事，是安葬自己的父亲汉文帝。
《史记·孝文本纪》记载，汉文帝一生俭朴，曾经宣布：“治霸陵皆以瓦器，不得以金银铜锡为饰，不治坟，欲为省，毋烦民。”临终又明确诏令丧事从简：“其令天下吏民，令到出临三日，皆释服。毋禁取妇嫁女祠祀饮酒食肉者。自当给丧事服临者，皆无践。绖带无过三寸，毋布车及兵器，毋发民男女哭临宫殿。宫殿中当临者，皆以旦夕各十五举声，礼毕罢。非旦夕临时，禁毋得擅哭。已下，服大红十五日，小红十四日，纤七日，释服。佗不在令中者，皆以此令比率从事。布告天下，使明知朕意。”对于丧葬仪式的形式、规模以至具体的细节，都嘱咐不得铺张。
汉文帝在这段文字之后，又明确指示：“霸陵山川因其故，毋有所改。”这一诏令也可以理解为霸陵葬制即埋葬规格同样“因其故”，也就是按照既定方针，“毋有所改”。颜师古说，汉文帝“自崩至葬凡七日也”。实际上，汉文帝在去世之后第六天即安葬，可知此前已经有比较充分的准备。由此可以推想汉文帝殡葬从简的愿望可能是得到了主持丧事者的尊重的。
霸陵复土工程只动用了三万一千人，也说明工程量不大。与秦始皇陵复土工程使用工役达七十万人左右的情形比较，可以说是天壤之别。
霸陵薄葬，在丧葬史上传为千古佳话，也成为帝王节俭的典范。后人对于霸陵薄葬，多有赞美之辞，即《史记·孝文本纪》索隱述赞所谓“霸陵如故，千年颂声”。《艺文类聚》卷七九引南朝梁沈炯《归魂赋》：“咄嗟骊山之阜，惆怅灞陵之园。文恭俭而无隙，嬴发掘其何言。”据《梁书·太宗王皇后传》，梁武帝诏书也说到“昔西京霸陵，因山为藏”，并以为“敦朴”、“约俭”的典范。又白居易《草茫茫—惩厚葬也》诗说秦始皇陵被盗情形，“一朝盗掘坟陵破，龙椁神堂三月火。可怜宝玉归人间，暂借泉中买身祸。”随后又进行了对比：“奢者狼藉俭者安，一凶一吉在眼前。凭君回首向南望，汉文葬在霸陵原。”霸陵，被看作“俭者安”的典型。唐人鲍溶诗也写道：“霸陵一代无发毁，俭风本自张廷尉。”《旧五代史·周书·太祖纪四》载郭威语，也说：“朕攻收河府时，见李家十八帝陵园，广费钱物人力，并遭开发。汝不闻汉文帝俭素，葬在霸陵原，至今见在。”
不过，对于霸陵是否真的坚持了薄葬原则，例如其中是否确实只是以陶器随葬，争议也千古未能平息。
两汉之际，赤眉军入关中，曾经有发掘汉帝诸陵，取其宝货的行为。据说只有汉文帝霸陵和汉宣帝杜陵得以保全。赤眉军发掘西汉帝陵事，发生于退出长安之后，陷于窘迫情境之时。《汉书·王莽传下》写道：“赤眉遂烧长安宫室市里，害更始。民饥饿相食，死者数十万，长安为虚，城中无人行。宗庙园陵皆发掘，唯霸陵、杜陵完。”《后汉书·刘盆子传》也记载：“发掘诸陵，取其宝货，遂污辱吕后尸。凡贼所发，有玉匣殓者率皆如生，故赤眉得多行婬秽。”赤眉军对西汉帝陵的破坏，为历史上军事集团公开以武力发掘帝陵事件之先声。所谓“宗庙园陵皆发掘，唯霸陵、杜陵完”，成为鲜明的对照。
其实，赤眉军“发掘诸陵”，只是西汉帝陵遭到公开破坏之最极端的史例，皇帝陵园被民间盗墓者盗掘的情形，史籍中还可以看到零星的记录。例如，霸陵随葬钱币在汉武帝时代曾经遭到盗掘的事件就曾经引起关注。可知就陵园的总体安全而言，霸陵早已不“完”。史籍中还可以看到霸陵遭到盗掘的正式记载，这些文字受到对霸陵薄葬持否定意见的学者的重视。
《汉书·张汤传》记载了霸陵随葬钱币被盗掘的事件：“会人有盗发孝文园瘗钱，丞相（严）青翟朝，与（张）汤约俱谢，至前，（张）汤念独丞相以四时行园，当谢，（张）汤无与也，不谢。丞相谢，上使御史案其事。”“瘗钱”，按照颜师古注引如淳的解释，即：“瘗，埋也，埋钱于园陵以送死也。”王先谦《汉书补注》引录沈钦韩的解释：“《唐书·王玙传》：汉以来丧葬皆有瘗钱。”“盖此瘗钱埋墓四隅，《传》称‘盗发’者即是四隅所瘗，不在冢藏中也。”“孝文园瘗钱”被“盗发”，丞相严青翟上朝时与御史大夫张汤相约一同谢罪，临至御前，张汤心想只有丞相“以四时行园”，负有巡查保护陵园的职责，而作为御史大夫于此事没有直接责任，不必要谢罪。于是丞相严青翟独自谢罪，而汉武帝又指令御史大夫张汤处理此事，于是引发了两人的矛盾。霸陵瘗钱被盗，距离汉文帝入葬不过四十年左右。
《晋书·索綝传》又明确记载西晋末年汉文帝霸陵和汉宣帝杜陵遭到盗掘，而盗墓者“多获珍宝”的情形：“时三秦人尹桓、解武等数千家，盗发汉霸、杜二陵，多获珍宝。帝问（索）綝曰：‘汉陵中物，何乃多邪？’（索）綝对曰：‘汉天子即位一年而为陵，天下贡赋三分之，一供宗庙，一供宾客，一充山陵。汉武帝飨年久长，比崩，而茂陵不复容物，其树皆已可拱。赤眉取陵中物，不能减半，于今犹有朽帛委积，珠玉未尽。此二陵是俭者耳，亦百世之诫也。’”按照索綝的说法，汉朝天子即位一年就开始经营自己的陵墓，每年财政收入的三分之一竟然都用于陵墓建设。汉武帝因为在位时间比较长，所以茂陵地宫随葬品已经充实，“不复容物”了。民人“数千家盗发汉霸、杜二陵，多获珍宝”事，也是特殊形式的大规模盗掘。虽然《汉书·王莽传下》关于赤眉发掘帝陵，有其他都遭盗掘，“唯霸陵、杜陵完”的记载，汉光武帝刘秀也曾经有“霸陵独完受其福”语，注者称“赤眉入长安，惟霸陵不掘”，据《三国志·魏书·文帝纪》，魏文帝曹丕临终遗制坚持薄葬，也有“汉文帝之不发，霸陵无求也”，“霸陵之完，功在释之”的说法，也以为霸陵未曾被盗掘的原因是“无求”。霸陵历来号称薄葬之典范，然而盗掘者“多获珍宝”，仍然使晋帝感叹：“汉陵中物何乃多邪！”
于是，后代许多人据此以为世传所谓霸陵“俭者”其实未必“俭”。
顾炎武《日知录》卷一五“厚葬”条引《晋书·索綝传》“建兴中，盗发汉霸、杜二陵，多获珍宝”事，比较《史记·孝文本纪》“皆以瓦器”之说，又写道：“而刘向《谏昌陵疏》，亦以孝文薄葬，足为后王之则。然考之《张汤传》，则武帝之世已有盗发孝文园瘗钱者矣。”顾炎武指出：“盖自春秋列国以来，厚葬之俗，虽以孝文之明达俭约，且犹不能尽除，而史策所书未必皆为实录也。”黄汝成《集释》引述了梁玉绳的说法，认为霸陵曾经三次被盗掘：“霸陵凡三被发：《张汤传》一也。《风俗通》所云：‘霸陵薄葬，亦被发掘。’二也。《晋书》所云，三也。”又引杨名宁曰：“或景帝之陷亲于不义耳。”也疑心是汉景帝违背了汉文帝遗诏，以实际上的厚葬使汉文帝陷于后人以为矫情虚伪，言行不一的“不义”的尴尬处境，同时也导致了盗掘的灾祸。
梁玉绳《史记志疑》卷七也提出了这样的疑问：“文帝之葬特差少于诸陵，而非真薄也，岂景帝不从遗诏之故乎？”他指出霸陵“薄葬”只是较其他诸陵略为俭朴，而“非真薄”。于是怀疑是汉景帝没有遵行汉文帝遗诏。在引录元人李冶《古今黈》中应劭《风俗通义》载霸陵薄葬亦被发掘语后，又写道：“若夫金玉珍宝，必景帝为之，不依文帝遗诏瓦器之制，事祕莫知，史不得录，待被发而后见。”也提出了汉景帝“不依文帝遗诏”的可能。
所谓“景帝不从遗诏”的推测，得到一些人的赞同。泷川资言《史记会注考证》卷一〇也说：“刘向谏昌陵疏，谓文帝寤张释之言，去坟薄葬，以俭安神。贾山《至言》亦言之。则霸陵在汉帝诸陵中最俭者矣。而《晋书》称赤眉取陵中物，不能减半，于今犹有朽帛委积，珠玉未尽。岂文帝崩后，臣子违其素志邪？古书所言，未可悉信也。”“景帝不从遗诏”，“臣子违其素志”，说法是相近的。不过，《晋书》所谓赤眉取陵中物，不能减半，于今犹有朽帛委积，珠玉未尽，似是说汉武帝茂陵事，而与霸陵没有直接关系。
“文帝寤张释之言”之所谓“张释之言”，是指《史记·张释之冯唐列传》中所见汉文帝说：“以北山石为椁，用紵絮斮陈，蕠漆其间，岂可动哉！”张释之随后发表了著名的以薄葬杜绝盗墓现象的言论：“使其中有可欲者，虽锢南山犹有郤；使其中无可欲者，虽无石椁，又何戚焉！”
根据后来霸陵也曾经出土珍宝之器的传说，有人疑心汉文帝霸陵薄葬只是一种政治宣传。明人张燧《千百年眼》卷四“文帝奢俭之异”条写道：“前史称汉文帝节俭，身衣弋绨，集上书囊为殿帷，所幸慎夫人衣不曳地。此三事以人主为之，可谓陋矣。然赐邓通以十数巨万，又以铜山与之，此又何也？”指出汉文帝有大俭之名，又有大奢之实。其心理行为的矛盾，也是一种“异”的现象。对于霸陵薄葬的传说，有的学者又指出，据明人何景明《雍大纪》记载，霸陵曾经因秋季灞水冲激，冲出石板五百余片，可知汉文帝仍然坚持以石为棺椁，其目的，“正是为了厚葬其中。”而通过霸陵被盗掘的记载，也说明“随葬‘皆以瓦器’并非事实”，“汉文帝的薄葬并非事实”。
其实，霸陵因山为陵，“不治坟”，“不起坟”，没有动员大量民众从事土木工程，是大致可信的。墓中随葬品的等级和数量，则可能因入葬时情形之复杂，确实有与汉文帝个人意愿不尽相合的情形出现。
前面引述的几种推测，如“景帝不从遗诏”，“若夫金玉珍宝，必景帝为之，不依文帝遗诏瓦器之制，事祕莫知”，以及“文帝崩后，臣子违其素志”等，都是可能的。而所谓“或景帝之陷亲于不义耳”的说法，谴责已经相当严厉。
历史上新帝违背先帝遗诏，是十分普遍的事。汉景帝即位时三十二岁。已经过了而立之年的刘启，经过多年的读书和思考，内心应当已经具有了比较成熟的政治思想。《史记·孝文本纪》在关于汉文帝事迹的最后记载中，引录了汉景帝在即位四个月之后的第一道诏书。其中确定为孝文皇帝庙设《昭德》之舞以宣明其盛德，同时要求有关机构讨论纪念汉文帝的礼仪。诏书中对于汉文帝的赞颂，是饱含诚挚之情的：“孝文皇帝临天下，通关梁，不异远方。除诽谤，去肉刑，赏赐长老，收恤孤独，以育群生。减嗜欲，不受献，不私其利也。罪人不帑，不诛无罪。除宫刑，出美人，重绝人之世。朕既不敏，不能识。此皆上古之所不及，而孝文皇帝亲行之。德厚侔天地，利泽施四海，靡不获福焉。”汉景帝刘启通过对于汉文帝行政风格的全面肯定，实际上向世人宣示了自己的施政方针就是对汉文帝时代的政策的全面继承。丞相申屠嘉等随即上书，报告了关于如何纪念汉文帝的讨论结果：“臣谨议：世功莫大於高皇帝，德莫盛於孝文皇帝，高皇庙宜为帝者太祖之庙，孝文皇帝庙宜为帝者太宗之庙。天子宜世世献祖宗之庙。郡国诸侯宜各为孝文皇帝立太宗之庙。诸侯王列侯使者侍祠天子，岁献祖宗之庙。请著之竹帛，宣布天下。”汉高祖刘邦被尊奉为“始取天下”的成功帝王，汉文帝刘恒则被尊奉为“始治天下”的成功帝王。汉文帝被尊奉为太宗，是在入葬之后第四个月的事。汉景帝当然不可能以此作为背离汉文帝遗诏由薄葬改而厚葬的借口。但是他如果在事实上实行了厚葬之后，却可以以此作为一旦受到“不从遗诏”、“违其素志”的攻击时的文饰之词。
与汉文帝相比照，三百八十多年后的另一位以“文”为谥的帝王，即魏文帝曹丕的临终遗制，也有关于葬制葬式务从简省的明确指令。据《三国志·魏书·文帝纪》，其中说道：“封树之制，非上古也，吾无取焉。寿陵因山为体，无为封树，无立寝殿、造园邑、通神道。”关于葬埋形式的规格，曹丕也有具体的吩咐：“无施苇炭，无藏金银铜铁，一以瓦器，合古塗车、刍灵之义。棺但漆际会三过，饭含无以珠玉，无施珠襦玉匣，诸愚俗所为也。”他要求墓葬中墓室棺椁形制都应尽量俭朴，并指责以珠玉随葬是“诸愚俗所为也”。所谓“无藏金银铜铁，一以瓦器”，正与汉文帝对于霸陵随葬器物规格的要求相一致。曹丕说，对于历史上的薄葬与厚葬，可以进行利与弊的比较，对厚葬致使被盗掘的教训，应当认真记取。关于汉代的史例，他说道，“汉文帝之不发，霸陵无求也；光武之掘，原陵封树也。霸陵之完，功在（张）释之；原陵之掘，罪在明帝。是（张）释之忠以利君，明帝爱以害亲也。”认为汉文帝霸陵未遭盗掘，是由于接受了张释之的建议，而汉光武帝刘秀的原陵被盗掘，是因为汉明帝没有遵行薄葬的原则的缘故。
特别值得注意的，是“光武之掘，原陵封树也”，“原陵之掘，罪在明帝”，“明帝爱以害亲也”的指责。对于有关薄葬的旨意，曹丕严令必须无条件执行，若有违背，予以“吾为戮尸地下，戮而又戮，死而重死”的严厉诅咒，并发表“使死者有知，将不福汝”的威胁：“若违今诏，妄有所变改造施，吾为戮尸地下，戮而又戮，死而重死。臣子为蔑死君父，不忠不孝，使死者有知，将不福汝！”
从曹丕对于“若违今诏，妄有所变改造施”的警告其态度之凛然，言词之峻刻，可推知并不是虚伪的表演。看来，在曹丕的意识中，后人违背遗诏，“妄有所变改造施”的可能性是严重存在的。曹丕是以为霸陵未经盗掘的，而对照关于霸陵确实被盗的史实，若排除其他的因素，如果说“霸陵之掘，罪在景帝”，或许也是可以成立的。如此，则假如所谓“不从遗诏”、“违其素志”确是事实，那么，汉文帝地下有知，汉景帝是不是也会听到“吾为戮尸地下，戮而又戮，死而重死”这样的切齿之声呢？
还有一种因素也未可排除，这就是汉景帝的母亲孝文窦皇后是在汉武帝建元六年（前135）方才去世的，而与汉文帝合葬霸陵。《汉书·外戚传上·孝文窦皇后》记载：“窦皇后疾，失明。文帝幸邯郸慎夫人、尹姬，皆无子。文帝崩，景帝立，皇后为皇太后。……窦太后好黄帝、老子言，景帝及诸窦不得不读老子尊其术。太后后景帝六岁，凡立五十一年，元光六年崩，合葬霸陵。”唐代学者颜师古说，《汉书·武帝纪》记载：“（建元六）五月丁亥，太皇太后崩。”《外戚传》说“后景帝六岁”，正与此相合，而以“建元”为“元光”，则是错误，又说“凡立五十一年”，也是“立四十五年”之误。颜师古的见解看来是正确的。而两说都说汉文帝窦皇后在汉武帝时代去世，并合葬霸陵。也就是说，霸陵随葬品即使丰富，也有汉景帝的母亲窦皇后在汉武帝时入葬霸陵的因素。《史记·外戚世家》：“窦太后后孝景帝六岁崩，合葬霸陵。遗诏尽以东宫金钱财物赐长公主嫖。”可知“东宫金钱财物”当不在少数，一部分作为随葬品入葬霸陵是可能的。于是，所谓汉文帝薄葬只是“表面文章”，以及所谓“或景帝之陷亲于不义耳”的怀疑，或许可以因此在一定程度上得以洗刷。
应当注意到，汉文帝霸陵最早的被盗记录，即“人有盗发孝文园瘗钱”，也是在孝文窦皇后“元光六年崩，合葬霸陵”之后十一二年的事。而如果以“建元六年”计，则先于《汉书·张汤传》所记载霸陵园瘞钱被盗事十七八年。
西汉皇室女性地位相当高。其时天下空前富足，在汉武帝已经成年的情况下，祖母逝世，也是不可能再迁就汉文帝二十余年前的遗制实行薄葬的了。
以这一思路考虑汉文帝霸陵是否薄葬之谜，可能是有益的。《汉书·东方朔传》说，窦太后之女馆陶公主寡居，五十多岁了，又近幸董偃。金钱恣其所用，曾经令中府：如果是董君所调发，一日之内黄金超过一百斤，钱超过一百万，帛超过一千匹的，才有必要向我汇报。而最终“窦太主卒，与董君会葬于霸陵”。由此也可以推知在世风浮侈的影响下，后来盗掘霸陵“多获珍宝”，有可能是陵园中其他从葬者的随葬品，而未可作为否定汉文帝霸陵薄葬的直接依据。