曾国藩认为，做官的第一要义是廉。这其中还有一个故事。
一八四○年，曾国藩在翰林院的庶吉士见习期满，照理该过班引见。庶吉士不是官员，是翰林院里见习的学生，只有等见习期满过班引见后，才算正式的大清朝官员，个人的去向也才能明朗，或留京补为国子监助教，或外放到省补为知县。但也有留在翰林院任为检讨、内阁中书等官职的，不过比例都很小，大多数庶吉士不敢做这个梦。
一八四○年四月十七日午后，曾国藩在两部堂官的带领下来到了圆明园中的勤政殿过班引见。道光帝问道："曾国藩，你给朕说说，做官的第一要义是什么？"曾国藩顿了顿，小心地回答："回皇上的话，学生以为，做官的第一要义无非是个"廉'宇。""嗯？"道光帝先是一愣，接着反问，"持平公允不重要吗？——比方说你断官司，不持平不公允，怎么能服人哪7——朕交办的事如何能办好啊？"曾国藩低头回答："回皇上话，皇上教训的是。但学生以为，官员不廉无以持平，官员不廉更难谈公允。请皇上明鉴。"道光帝想了想，又问："曾国藩哪，你到地方上去做知县，你要做的第一件事是什么呀？"曾国藩略一思忖，回答："回皇上话，开民智与清诉讼，当是重中之重。""这倒新鲜！"道光帝笑了笑，"放着钱粮不管倒要开民智，你给联说说，为何耍先开民智啊？"曾国藩答："皇上圣明。开民智是为了让百姓懂法守法。民智不开，百姓势必愚昧，地方上的治安断难良好。而钱谷都是有记载有数字的东西，早晚清理效果应该一样。"道光帝反问："照你所说，百姓知法才能守法。——朕来问你，乾隆朝和砷位至将相，参与制定了许多法令，可到头来他仍然犯法。这应该怎么解释呢？"曾国藩回答道："犯官和砷知法但目中无法，眼里只有银子。官员不廉已是犯了王法，祸灭九族当是他咎由自取。从古到今，官员堕落贪字始啊！"
道光帝不再言语，提笔在曾国藩的履历上批了一行字，道："下去候旨吧。"曾国藩在殿外等了一刻钟，引见曾国藩的两部堂官退出殿来，向曾国藩转达圣谕：庶吉士曾国藩即日起实授翰林院检讨。曾国藩转眼便成了清朝的实缺从七品官员。自此才算真正开始了他的官宦生涯。
曾国藩是这么说的，也是这么做的。他为官清廉，崇尚节俭，一生生活俭朴。在衣着上，他的布袍鞋袜都是由其夫人、媳妇所做，而且，他平时舍不得穿新衣服，往往只在庆典或者过新年时才穿：在饮食上，他从不挑剔，吃的是粗茶淡饭，后来官至大学士，除非有客人来，他每次吃饭时也仅吃一个荤菜。如此节俭的作风，在当时封建官吏中，确实很难见到。
曾家一直就有俭朴持家的风范，曾国藩作为同辈长男，从持家之始，他就将"俭"字放在头等重要的地位。曾国藩经常教育子侄，不要穿华丽衣服，不要多用仆婢雇工。做到后者不仅可以节省钱，更重要的是可以培养家人亲自劳动、爱惜劳动成果的习惯。曾家有这样的传统：男子要亲自下地耕田，妇女要亲自纺织。不仅如此，男子在选择配偶时，不愿与官宦之家联姻，而是选择勤俭之家，以免沾染奢惰之习。曾国藩的节俭在日常生活中的一些特殊事情上也有所体现。他告诉家人要把生活中的一些零碎物件，如碎布、小纸片收集起来，以备后用。
在传统社会中，家是一个人事业的根基，治家和治国相通相关。不善治家者，必不能治天下。一个人即使很有能力，倘若家庭出了问题，也就如木拔其根，难以立足。曾国藩认为，为官不是长久之计，而家庭则与一个人相伴终身。所以，他认为治家比为官更重要，治家则首倡以俭。
他告诫家人，要爱惜物力，保持寒士之家风。莫怕"寒村"二字，莫怕"悭吝"二字，莫贪"大方"二字，莫贪"豪爽"二字。在曾国藩的屡次谆诫下，曾家基本上保持着节俭的家风。在湘军将领中，兄弟一同参军的大有人在，但家族常保不衰的，却只有曾家，是因为曾家是专人主持家政，并且能以俭持家。
曾国藩以"廉"自律，同时也把它当做治军用人的重要原则。他提出要坚守"不要钱、不怕死"六宇，是对岳飞"文官不爱钱、武将不惜死"这句话的浓缩。曾国藩认为，自己以文官而带兵，身兼文武，所以既要不爱钱，又耍不怕死。而在湘军将领中，相当多的都是文人出身，所以这六个字就成了全军的纪律。其中"廉"之一宇，被曾国藩视为"人生之根本，即我楚师水陆两军之根本也"。
曾国藩为部下所佩服，除了他有坚定的志向外，操守廉洁是一个很重要的方面。曾国藩在训诫部下时，很少空谈廉洁奉公的大道理，他多数情况下都是从服众的角度出发，告诫部下将领，如果要让手下人心服、敬畏，就必须保持廉洁。
一八六二年，曾国藩写了《三字箴》，其中"清字箴"说如果淡泊名利，清心寡欲，严于律己，一丝不苟，就连鬼神都会钦服，就不用说人了。如果一个人廉洁奉公，不贪污，那么手下之人就不敢中饱私囊；如果不受贿，那么人人公平，想借送礼行贿来达到目的的人就无法得逞，事情遵照既定规则来办，自然无人不服。对于领兵将领和上级官员而言，很多时候贪污是以牺牲下属和同事的利益为条件的。上级贪得多，手下得的就少，于是争相克扣，一级比一级厉害，在最下面的则苦不堪言。所有这些，最后都压在贫苦老百姓身上，导致吏治腐败，百姓困苦，最终激起民变。儒家向来主张正人先正己，己欲立而立人，己欲达而达人。自己身不正，就无法去要求属下。如果自己身正心正，无瑕可责，则无人不服。所以，廉洁有服众的重要作用。