在北宋，西京洛阳流传着这样一句谚语：“王家钻天，司马入地。”
这个司马，就是小时候砸缸救人的司马光。他21岁中了进士以后，就一直在朝廷做官。官职虽然显赫，但他却非常清廉节俭。
洛阳是北宋的西京，住着许多王公贵族，他们的住宅都修筑得像宫殿一样豪华，还有花园楼阁。在这些贵族中，有一个叫王拱辰的，他的房子最气派，只中堂就起屋三层，上面还刻着龙凤等各种图案，屋檐向上飞耸，更显得气势宏伟。而司马光呢，却住在离市区有数十里的一个陋巷中。房子是低矮的平房，冬天冷得要命，夏天又酷热难挨。司马光只好在屋里的地下挖了一个一丈多深的土坑，周围用砖砌成，夏天全家就躲在坑里。因此，西京便流传出了这条谚语。
后来，司马光的儿子司马康长大了，也做了官。司马康见父亲生活太清苦了，想给父亲改善一下生活条件，为父亲造一所住宅。司马光知道后，马上给儿子写了一封信。信上说：“我们家本来清寒，清白的家风要世代继承。我从小就不喜欢奢侈，不愿意穿华丽的衣服。我一生只求吃饱穿暖，别无奢望。虽然别人取笑我，说我简陋，可我不认为这是缺点。我认为节俭朴素才是美德。孔子不是说过吗，一个人因为俭约而犯过失是很少见的。读书人虽然有志追求真理，但却以粗菜破衣为耻，那是不值得和他谈学问的。衣取蔽寒，食取充饥就可以了。住的能挡风遮雨不是很好吗？”
他还给儿子讲了许多历史上节俭的故事。他对儿子说：“有一个叫张知白的人，官职很高，俸禄也很多，但家里盖的却是土布被子。春秋时，鲁国的季文子，虽然是丞相，但他的妻子从来没穿过绸缎衣服。这些人你都应该学习呀！反过来，奢侈的人都没好下场，你不要学他们，而要学习张知白和季文子，要记住历史教训，把咱们节俭的家风世代传下去。”
司马康看了父亲的信，被父亲那清廉的品格感动了，心想：“违背父亲的意愿是最大的不孝。”他便改变了原来的想法，从此再也不提钱财、房子之类的事了。而且自己也和父亲一样节俭。当时人都说他“为人廉洁，口不言财”。因为司马光勤俭为国，嘉祐八年，宋仁宗下诏赐给一些有功的臣子百余万元的钱财，别的臣子个个都高兴极了，可司马光却怀着沉重的心情给仁宗写了一封信。信上说：“现在国家多事，人民困苦，我绝不能接受这些赏赐。”然后他当面呈上这些财物，辞谢仁宗，但仁宗执意不收，也不改变自己的诏赐，司马光就把这些东西捐献给谏议院办公用了。
不久，司马光的妻子因病去世了。因为他平时把钱都周济给了穷困的亲戚，所以家里没一点儿积蓄，连给妻子买一口薄棺材的钱也没有。他只好卖了家里唯一的三亩薄田，买了棺椁，薄葬了妻子。他儿子见母亲辛劳一生，死后又这样清寒，痛哭着对父亲说：“母亲含辛茹苦一生，这样做是不是太对不起母亲了？”司马光眼含着泪说：“你母亲跟我一辈子，没穿过绸缎，没吃过鱼虾，我是愧对她。可这是咱家的家风，这种清俭的美德不能断在我们手里。你母亲是理解我的。既然生是如此，死后又奢求什么呢？”
妻子死了，司马光个人的生活有了很多困难，他朋友劝他买个奴婢，也可照顾一下他的生活，可司马光始终不肯，仍一个人过着俭朴的生活。
一个有钱有势，生活条件优越的人，能自节自律，俭朴廉洁，是件难能可贵的事。
司马光能编写出被称为“历史的镜子”的《资治通鉴》，正是因为他一生都用廉洁的镜子照看自己。