“吾家方丰盈之际，不待天之来概，人之来概，吾与诸弟汉设法先自概之。自概之道去何？亦不外清、慎、勤三字而已。吾近将清字改为廉字，慎字改为谦字，勤字改为劳字，尤为明清。确有可下手之处，沅弟昔年子银钱取与之际。不甚斟酌，朋辈之讥议菲薄，其根实在于此。去冬之买犁头嘴栗子山，余亦大不谓然。以后宜妄取分毫，不寄银回家，不多赠亲族。此廉字功夫也。谦之存诸中者不可知，其若干外者，约有四端：曰面色。曰言语。曰书涵。曰仆从属员。沅弟等每次来信，索取帐棚子等件，常多讥讽之词，不平之语。在兄处书函如此，则与别处书函，更是如此，况弟之仆从随员，颇有气焰。面色言语，与人酬接时，吾未及见，而申夫（李榕）曾述及往年对汝之词气，至今饮憾。
以后宜于此四端，痛加克制，此谦字工夫也。每日临睡之时，默数本日劳心者几件，劳力者几件，则知宣勤王事之处无多，更竭诚以图之。此劳字工夫也。余以名位太隆。常恐祖宗留遗之福，自我一人享尽。故将劳谦廉三字，时时自惕。亦愿两贤弟之用此自惕，且即以自概耳。”诸如此类的信函很多，都反映了曾国藩居高思危的心境。
兵在金陵进攻之始，曾国藩就已经回思退路。在同治元年秋冬，湘军方攻雨花台进逼金陵之际，曾已作辞职准备了，于十二月函商曾国荃，将钦差大臣及两江总督一概辞让，经曾国荃复书反对，始暂打消此意。最后仍决定于两者之中辞却一席，乃于同治二年四月奏陈朝廷，旨在表明并不贪恋权位。
同治三年三月，湘军在金陵血战方酣，而曾国藩为江西争饷之事而败讼，至使其失望忧烦到极点。遂于三月二十五日具疏辞却钦差大臣两江总督两席。并此决计偕弟曾国荃同时引退。
曾国藩兄弟此退之念，皆始于同治二三年间。而决心之坚，则成于江西争饷的败讼。他从中嗅出朝中亲贵大臣倾挤之意。故三月抱病辞官，自成因于多方复杂因事。如其致同乡兵部左侍郎黄倬函中所说：“弟自庚申（咸丰十年）忝绾兵符以来，日夜只惧，最畏人言，迥非昔年直情经行之故态。近有朱、穆等文章弹劾，其未发阅者又复不知凡几。尤觉梦魂悚惕，惧罹不测之咎。盖公论之是非，朝廷之赏罚。例随人言为转移，虽方寸不尽力所挠，然亦未敢忽视也。”此函明显透露出对朝内倾挤之怨惧。曾国藩值此众谤丛集之际，惟有与弟曾国荃互相安慰、勉励。其致曾国荃函，这种心情更充分流露。同治三年四月初三函说：“弟于今年饷次之少，为历年所无，余岂忍更有挑剔？近来外悔纷至沓来，余日夜恐惧，若有大祸即临眉睫者，即兄弟同心御侮，尚恐众推倒墙。岂肯微生芥蒂，又岂肯因弟词所稍戆，藏诸胸臆？又岂肯受他人千言万怄，遂不容胞弟片语乎？老弟干万教心，千万保养，此时之兄弟，实患难风波之兄弟。惟有互劝互助互恭维而已。”
金陵合围两月，太平军内外断绝，但除极力抵御湘军之外，并无惊慌之象，而湘军加紧攻城，控掘地道，将士日有损伤，而城坚不能攻破。只此一事已足使曾氏兄弟焦急。适于此时期，江浙两省屡为李鸿章、左宗棠二人攻克，捷报连日飞来，使曾国藩兄弟尤其忧心如焚。盖自金陵合围起，曾国藩兄弟未有一日安枕，虽然胜利在望，而患得失之心，使其倍增忧烦。半年间，可以说是曾国藩兄弟最苦恼的时期。同治三年四月十二日曾国藩致曾国荃信中说“适闻常州克复、丹阳克复之信，正深欣慰。而弟信中处云‘肝病已深，痛疾已成，逢人辄怒，遇事辄忧’等语，读之不胜焦虑。今年以来，苏浙克城是甚多，独金陵迟迟尚无把握。又饷项奇绌，不如意之事机，不入耳之言语，纷至迭乘。余尚悒郁成疾，况弟之劳苦过甚，百倍阿兄，心血方久，数倍于阿兄乎？余自春来，常恐弟发肝病，而弟信每含糊言之。此四句乃露实情，此病非药饵所能为力，必须将万事看空，毋恼毋怒，乃可渐渐减轻。蝗蛇蛰手，则壮士断其乎，所以全生也。吾兄弟欲全甚生，亦与视恼，如蝮蛇，去之不可不勇，至嘱至嘱。余年来愧对老弟之事，惟调拔程学启一名将。有损于弟。然有损于家，有益于国，弟不必过郁，兄亦不必过悔。立言少荃（注：李鸿章）为程学启清邱一疏，立言公允，兹特寄弟一阅。”○权谋经要：论居高位之道
思居高位之道，约有三端；一曰不与。《论语》所谓“巍巍乎，舜禹之有天下也，而不与焉”者，谓若于已毫无交涉也。二日不终。古人所谓“日慎一日，而恐其不终”，盖居高履危而能善其终者鲜矣。三曰不胜。古人所谓“懔乎若朽索之驭六马，栗栗危惧，若将殒于深渊”，盖惟恐其不胜之鼎折足，覆公馒束，其形渥凶，言不胜其任也。方望溪云：汉文帝之为君，时时有谦让，若不克居之意。其有得于不胜之义者乎？孟子谓周公有不合者，仰而思之，夜以继日，其有得于惟恐不终之义者乎？
——引自《曾国藩日记》
○名家圈点：“肥头大耳”易挨刀
人的职位越高、功名越大，越容易颐指气使、得意忘形。而此时的失败也越多。曾国藩之所以受到一个多世纪的许多伟人、名人之崇拜，成为封建时代最后一尊精神偶像，与他善收晚场有很大关系。
“声闻之美，可恃而不可恃”，“善始者不必善终”，这也是曾国藩对功名的看法。
曾国藩曾宽慰、告诫弟弟说：我们现在处于极好之时，家事有我一个人担当，你们就一心一意做个光明磊落、鬼服神钦的人。待到名声既出，信义既著，即使随便答言，也会无事不成。所以不必贪财，不必占便宜。
可见，曾国藩是把名誉和贪婪相联系的，贪婪的人，恶名加身；大度的人，清誉在外。一旦名声远扬，就可以不拘小节了。曾国藩的见识可谓高拔，甚至可以说有点点狡猾，他把好名声看成人的立身之本，本应正，源要清，不可本末倒置。
曾国藩对家族的名望或声誉十分看重，为了保持这个家庭的名望和声誉，曾国藩可以说惮思竭虑，鞠躬尽瘁。
常言道，树大招风。由于家大业大势大，兄弟几人都在朝廷做大官，于是乎外面就有不少关于他们兄弟的传闻。
曾国藩就不止一次地听说对他们兄弟恶行的指责，曾国藩听了以后，不想秘而不宣，而是一一转告各位兄弟：或者直接责备，或者委婉相劝，希望他们有则改之，无则加勉。
因为名望所在，是非由此而分，赏罚由此而定。有一年冬天，朝廷中有一个叫金眉生的官员就被好几个人弹劾，结果家产被抄，被没收，妻子儿女半夜站在露天下，饱受风寒冰冻之苦。曾国藩说，难道这个金眉生果真万恶不赦吗？其实不过是名声不好，惩罚随之而来罢了。
所以说，人言可畏，众口铄金，积毁销骨。那些议论不知道在什么地方兴起，以不知道在什么时候结束。众口悠悠，沸沸扬扬，防不胜防。那些有才华的人，因为那些怀疑与诽谤无根无据，虽然恼怒，但还是悍然不顾，结果诽谤一天比一天严重。那些有德行的人，因为这些诽谤无根无据而深感恐惧，于是收敛下来认真反省，并对自己今后的一言一行，一举一动都十分谨慎，结果诽谤不攻自破，谣言一天天平息下去。
曾国藩说：我忝居高位，又获得了极高的虚名，时时刻刻都有颠覆的危险。通观古今人物，像我这样名大权重的人，能够保全善终的人极为少见。因此我深深担忧在我全盛之时，不能庇护你们，到了我颠覆之时，或许还会连累你们。所以我只有在我没事的时候，时常用危词苦语来劝戒你们，这样或许能够避免大灾大难啊！
曾国藩不停地反省自己：孟子说：“我爱别人，别人却不亲近我，自己要反躬自省，自己的仁爱是否有不到的地方；我们以礼待别人，别人却不理睬我，自己要反躬自省，自己的礼仪是不是不周到。”……我的声望越来越高，就是我自己也不知道这是从何说起，只恐怕名望超过了实际……这全部责任在于做哥哥的提倡、做表率……
大凡功成名就之人，名望欲高，愈是珍重这份荣誉。曾国藩过人之处在于，他对自己的名望始终抱有怀疑的态度，甚至根本就认为没什么名望。他从自己至爱的兄弟们身上，看到了名望遮掩下的裂痕和隐患，由此及彼，别人会怎样就可想而知了。
怀着这种深沉的认识和忧惧，曾国藩把这一感触不时传送到兄弟们身上。他鼓励、劝勉他们为百姓多干实事，勿为名望二字所累；他说：“那才是我曾家门户的光荣，阿兄的幸运。”