自官居二品以来，曾国藩“常慨然有澄清天下之志，每自负”。只是承平日久，人们多不理解，或谓其“大言欺人”，唯倭仁等“数辈信之”（《中兴将帅别传》，第1页。）。而处于基层的士人则与京中人士观感大异。刘蓉已在家乡组织团练镇压当地“吃排饭”的灾民，罗泽南即将参加湘乡总团的活动，而刘长佑来至镇压李沅发起义的前线，江忠源更是镇压农民起义的老手。通过与这些人的交往，曾国藩不仅对全国政治形势了然于心，而且在相互激励之下，信念更加坚定，思路更加清晰。当其未入仕前，一心苦读诗书，求取功名；当其入仕之后，一心飞黄腾达，光宗耀祖；当其身居高位、父祖诰封之后，则一心效忠大清王朝。
道光三十年正月道光皇帝去世，四皇子奕■登上皇位，此即咸丰皇帝。咸丰上台伊始，即诏谕科道九卿等有言事之责者，可就用人行政一切事宜据实直陈，封章密奏。曾国藩以为国家振兴有望，于是，连上奏章，就清王朝面临的一些具体问题，提出自己的解决办法。三月上《应诏陈言疏》，就人才的识拔、培养、使用提出自己的主张，并推荐李棠阶、吴廷栋、王庆云、严正基、江忠源五人各有专长，皆为有用之贤才。咸丰元年三月又上《议汰兵疏》，主张对绿营兵裁汰五万，痛加训练，以解决国用不足、兵伍不精的问题。该疏已触及清政府的症结所在。当时太平天国已在广西金田举行起义，全国性的一场大乱势在难免。而清政府政治腐败，财政拮据，军力疲软，根本无力担负起镇压农民起义、维护清朝统治的职责。该疏本着“兵贵精不贵多”的原则，旨在对清朝武装力量进行改造。因满汉藩篱之故，不敢涉及旗营，虽二者一样腐败，仍只讲绿营。其改造之方就是“去腐生新”：“医者之治疮痈之甚者，必剜其腐肉而生其新肉。今日之劣弁赢卒盖亦当量为简汰，以剜其腐者，痛加训练，以生其新者。”（《曾文正公奏稿》，第1卷，第25—26页。）从这篇奏折中，可以明显看出，曾国藩对绿营武装的基本看法与最初设想，即绿营武装非痛加改造不可，而实施办法则是自上而下的进行。
然而，曾国藩的建议却不为清朝当局所接受，种种迹象表明，咸丰帝下诏征言，不过是故作姿态。他既看不出问题的严重性，也找不到解决问题的关键所在，只是依照常规一个接一个的向广西前线派遣钦差大臣，根本不想改造他的军队，更不相信以百万之众不能将太平天国革命镇压下去。这就不能不引起曾国藩的愤懑和不满。他在给同年好友胡大任的信中说：“今春以来，粤盗益复猖獗，西尽泗、镇，东极平、梧，二千里中几无一尺净土。推寻本源，何尝不以有司虐用其民，鱼肉日久，激而不复反顾。盖大吏泄泄于上，而一切废置不问者，非一朝夕之故也。”又说：“国藩尝私虑，以为天下有三大患：一曰人才，二曰财用，三曰兵力。”而要解决这些问题，非对清朝的现状大加改造不可。然“自客春求言以来，在廷献纳不下数百余章，其中岂乏嘉谟至计！”而咸丰帝“或下所司核议，辄以‘毋庸议’三字了之；或通谕直、省，则奉行一文之后，已复高阁束置，若风马牛之不相与。”“书生之血诚，徒以供胥吏唾弃之具，每念及兹，可为愤懑。”（《曾文正公书札》，第1卷，第30页。）其时，形势紧迫，改革无望，曾国藩苦闷彷徨，不知所为，若非刘蓉、罗泽南的批评、推动，或者就难有下文。
多年以来，曾国藩周围集结了一群挚友，不仅可一起探讨学问、谈论时事，也可以吐露心迹、相互批评。从刘蓉的复信看，曾国藩在给胡大任信中所表露的情绪，似亦流露于给刘的信函中，而不时将奏稿寄示好友，则是可以肯定的。惟刘蓉站在阶级斗争前沿，正向起义农民作殊死之斗，亟须通过曾国藩这个身居高位的代理人，将社会基层的真实情况和中小地主的迫切要求，反映到最高统治者面前。所以，曾国藩的苦经，不仅没有得到丝毫同情，反而受到他的尖锐批评。刘蓉复函称：“大疏所陈，动关至计，是固有言人所不能言、不敢言者。然言之未见其效，遂足以塞大臣之责乎！国事未见其益，而闻望因以日隆，度贤者之心不能不以是嫌然于怀也。”又说：“既已达而在上矣，则当行道于天下，以宏济艰难为心。”“今天下祸乱方兴，士气弥懦”，贤者更当挺身而前。“曰其廉可师”，“曰以身殉国”，“曰不爱钱，不惜死”。壮哉斯言，足可“明执事自待之志，为戡乱济时之本”，然“若以慰天下贤豪之望，尽大臣报国之忠，则岂但已哉？！”（刘蓉：《养晦堂文集》，思贤讲舍光绪三年刊，第5卷，第9—10页。）其立身之高，言词之厉，真让曾国藩无地自容。
这封信无疑对曾国藩起了极大的鞭策和激励作用，使其甘冒风险，再次上奏，仿乾隆初年孙嘉淦《三习一弊疏》，于当年四月呈上《圣德三端预防流弊疏》，从三个方面谏正咸丰皇帝的所作所为（参见拙著《曾国藩传》，第37—38页。），尤对其求言以来的表现，提出较为尖锐的批评。他在给江忠源的信中解释说：“四月又条陈一疏，以圣德咸美而预防其蔽，大致似孙文定《三习一弊疏》。第孙托空言而仆则指实，太伤激切。盖嫉时太甚，忘其语之憨直。”（《曾文正公书札》，第1卷，第37页。）故其发折之后亦忧亦喜，忧的是可能招来不测之祸，喜的是终可在朋友面前有个交待。此时，他是否函告刘蓉尚难确定，而写给罗泽南的复信却收在全集之中。罗泽南致曾国藩函是在上疏后的第七日收到的，因未收入其《遗集》而内容无从得知，但从曾国藩的复函看，其言词之尖锐当不逊于刘蓉，且主旨大致雷同，不外促其知难而进，犯颜直谏而已。从中亦可看出，罗、刘之间似就此事通过消息，唯不见往来函稿，其采取何种方式不得而知。曾国藩在信中说：“以阁下之贤而国藩幸同里闬，国有颜子而行谊不达于岩廊，仆之耻也。来书反复陈譬，所以砭警愚顽良厚，中如‘有所畏而不敢言者，人臣贪位之私心也；不务其本而徒言其末者，后世苟且之学也’四语，国藩读之，尤复悚感。”上月“二十六日敬陈〈圣德三端预防流弊〉一疏，学道未深，过伤激直。阅七日而春介轩廉访（春熙，字介轩，满洲镶黄旗，是任湖南按察使。）来京，递到阁下一书，乃适与拙疏若合符节，万里神交，其真有不可解者耶！今录往一通，阁下详览而辱教之，山中故人如刘孟容、郭筠仙昆仲、江岷樵、彭筱房、朱尧阶、欧晓岑诸君，不妨一一寄示，道国藩吞窃高位，不敢脂韦取容，以重负故人之期望者，此疏其发端也。”（《曾文正公书札》，第1卷，第32—33页。）曾国藩此举非同一般，实际上是企图通过自上而下的改革，来解决当时不可或缓的兵、饷、人才问题，以使清王朝能够担负起镇压农民起义、维护封建制度的使命。同时，这也不是一般的上疏言事，而是一个深思熟虑的集体行动。它所反映的不只是曾国藩个人的要求和政治意图，而是一个团体的意志。因为他们事先通声息，事后作通报，相互鼓动，串联一气，无论自觉与否，有形无形，已在曾国藩周围形成一个政治小团体，且函中点到之人，除彭筱房情况不明外，全是曾国藩集团的重要成员。更为重要的是，这次行动对该集团发展道路的选择影响很大，只因行动失败（参见拙著《曾国藩传》，第38—39页。），自上而下的改革走不通，方迫使他们别寻他途，另起炉灶，自己动手来解决镇压农民起义所必不可少的兵、饷、人才问题。因而，在研究这个集团的发展过程时，应把曾国藩的这次上疏看作它的发端，其思想上、政治上以及组织上的酝酿，从此开始。而曾国藩在此前后所上的一系列奏疏，则基本上勾勒出他所要进行的各项改革的轮廓，种种设想初露端倪，其后的行动，不过因形势的不同而有所发展变化而已。曾国藩早年，尤其道光二十七年之前，一心读书养望，以道德文章报国，经过数年的转变与准备，大约自道光三十年开始，其主要精力逐步转向如何解决决定国家命运的政治、军事难题上，而此次上疏，亦成为其一生生活道路的转折点。
咸丰二年十一月底，在籍守制的曾国藩接到命其帮办湖南团练的寄谕，几经犹豫反复，终欣然从命。值得一提的是，曾国藩这次出山，郭嵩焘从中起了很大作用。其初，曾国藩决心拒不奉命，奏折和写给湘抚的信函已封缄，正拟发送时，郭嵩焘受张亮基之托来到曾家。郭嵩焘从机缘和形势两个方面动员曾国藩出山。他说：“本有澄清天下之志，今不乘时而出，拘于古礼，何益于君父？且墨绖从军，古之制也。”（《中兴将帅别传》，第4页。）机会难再，不能不使曾国藩动心。再者，太平军已经占领武昌，随时可能打回湖南，蛰居山林，亦非乱世良策。加以郭嵩焘动以保卫桑梓为词，曾国藩亦很难再行退避。这是郭嵩焘为这个集团立下的第一件大功。至于救左宗棠于危难之际，劝李鸿章重归曾幕，则是后话。
为解决湖南兵力不足的问题，湖南巡抚张亮基奏请从各县选调乡勇一二千人，仿戚家军之式加以编练，并委团练大臣曾国藩实施办理。这一奏折不仅出于左宗棠之手，亦出于左宗棠之谋，与曾国藩在省城建一大团的计划尤不谋而合。其理由都是一个：用兵不如用勇，且兵无处可调。所以，湘军之创建，为曾国藩所一手经办，而左宗棠亦有建议之功。只是左宗棠很快随张亮基离开湖南，未能始终其事，只好由曾国藩独力完成，亦因而错过曾、左协同创业的一个机会。然而，相处时日虽短，彼此了解颇深，拯救桑梓之情，重振大业之志，已将他们的心连在一起，甚至远在贵州的胡林翼亦成为他们之中不可或缺的一员。曾国藩在给胡林翼的信中说：“廿一日驰赴省垣，日与张石卿中丞、江岷樵、左季高三君子感慨深谈，思欲负山驰河，拯吾乡枯瘠于万一。盖无日不共以振刷相勖，亦无日不屡称台端鸿才伟抱，足以救今日之滔滔，而恨不得会合以并纾桑梓兵后之余虑。”（《曾文正公书札》，第2卷，第8页。）惟曾、左关系起伏太多，变化太快，旋因曾国藩向陶家勒捐军饷，引起左宗棠的不满，遂致二人一度疏远。
当曾国藩途经县城之时，湘乡知县朱孙诒和刘蓉、罗泽南等人，已接到巡抚张亮基的信札，命他们率湘乡团丁赴省，于是，便同曾国藩一起赶赴长沙，遂形成曾国藩最初的办事班底。不久，欧阳兆熊来访。欧阳是曾国藩年青时代的好友。道光二十年曾国藩任职翰林院之初，病倒于南城果子巷万顺客店中，几至不起，多亏粗通医道的欧阳兆熊精心护理，方得转危为安。从此，二人成为知心好友。欧阳建议曾国藩建立“文案”，曾国藩遂在团练大臣公馆内设立审案局，调湖南清泉知县厉云官等专司其事，成为曾国藩幕府的第一个办事机构。
曾国藩到长沙后主要办两件事，一是设审案局杀人，一是苦练湘勇，为此得罪了湖南地方大吏，但却将塔齐布收到自己的麾下。曾国藩初练湘军，按规定应由湖南藩库供饷，然实际上领饷困难，常常受到刁难。曾国藩六月操兵，世人反感，湖南地方大吏也未能超出常人见解。而曾国藩设局办案，有违常规，甚至强行从善化县衙提走人犯，更使他们不满（善化是湖南首府首县，按正常司法程序一切讼案均应先交该县衙审理。故曾国藩此举，实属严重侵犯湖南地方司法权的行为。）。所以，当曾国藩遭到提标兵围攻时，骆秉章先是装聋作哑，后又放走犯卒，使其丢尽颜面。王闿运对此曾有生动描写：“营兵既日夜游聚城中，文武官闭门不肯谁何，乃猖狂公围国藩公馆门。公馆者，巡抚射圃也，巡抚以为不与己公事。国藩度营兵不敢决入，方治事，刀矛竟入，刺钦差随丁，几伤国藩，乃叩巡抚门。巡抚阳惊，反谢，遣所缚者，纵乱兵不问。司道以下公言，曾公过操切，以有此变。国藩客皆愤怒，以为当上闻。国藩叹曰：‘时事方棘，臣子既不能弭大乱，何敢以己事渎君父？吾宁避之耳。’即日移屯衡州。”（《湘军志》，第22页。）至于其丛讥取戾的原因，他在给朋友的信中解释说：“国藩从宦有年，饱阅京洛风尘。达官贵人优容养望，与在下者软熟和同之象，盖已稔知之而惯尝之，积不能平。乃变而为慷慨激烈、轩爽肮脏之一途，思欲稍易三四十年来不白不黑、不痛不痒牢不可破之习。而矫枉过正，或不免流于意气之偏，以是屡蹈愆尤，丛讥取戾。”又说：“二三十年来，士大夫习于优容苟安，揄修袂而养姁步，昌为一种不白不黑、不痛不痒之风。见有慷慨激烈以鸣不平者，则相与议其后，以为是不更事，轻浅而好自见。国藩昔厕六曹，目击此等风味，盖已痛恨次骨。今年承乏团务，见一二当轴者自藩弥善，深闭固拒，若唯恐人之攘臂而与其间者也。欲固执谦德则于事无济，而于心亦多不可耐。于是，攘臂越俎，诛斩匪徒，处分重案，不复以相关白。”还说：“方今主忧国弱，仆以近臣与闻四方之事，苟利民人，即先部治而后上闻，岂为一己自专威福？所以尊朝廷也。”（《曾文正公书札》，第4卷，第45页、第42—43页。）直至二十三年后，谈及此事仍颇多感慨，称“起兵亦有激而成。初得旨为团练大臣，借居抚署，欲诛梗令数卒，全军鼓噪入署，几为所戕。因是发愤募勇万人，浸以成军。”（《能静居日记》，同治六年八月二十一日。）其时羞愤之情，可想而知。而骆秉章则称：“时曾涤生在又一村住，嗣因镇■赌博拿获，后欲将来正法。是晚兵勇鼓噪，闹至又一村。出而弹压，兵勇始散。曾涤生见兵心不服，不在省住，移节到衡州矣。”（骆秉章：《骆文忠公自订年谱》，咸丰三年八月条。）就是说，二人至死也没有就这一问题达成共识。
塔齐布满洲镶黄旗人，初属乌兰泰（后曾任广州副都统），任三等侍卫。咸丰元年调湖南，次年迁游击，署抚标营中军参将。咸丰三年曾国藩于盛夏之时苦练湘勇，并请营兵会操。湖南提督鲍起豹、长沙协副将清德以为虐士，坚决反对。而塔齐布独持赞同，“每校阅”，“必短后衣，蹑屩带刀侍”。鲍起豹、清德以为塔齐布媚曾，禁其会操，并将摧辱之。曾国藩幼罢清德，力荐塔齐布而取代之，称“日后有临阵退缩之事，即将微臣一并治罪”（《曾文正公奏稿》，第2卷，第8页。）。恰有署湖广总督张亮基保塔劾清之折亦至，奉旨允准。鲍起豹怒气难申，遂暗中鼓动提标兵哗变，“掌号执杖至参将署，欲害塔齐布”，“匿菜圃草中以免。兵众毁其房室”，随之围团练大臣公馆，刺伤亲兵，几中曾国藩（《曾国藩年谱》，第28页，咸丰三年七月。）。经此一场证闹之后，二人皆无法在长沙立足，曾国藩避往衡州，塔齐布移驻澧陵，仍统抚标兵及宝勇、辰勇。从此，他们命运相连，塔齐布更加死心塌地地追随曾国藩，成为曾国藩初起之时在军事上的主要支柱。更难得的是，塔齐布知恩图报，不忘根本。《湘军志》称：“塔齐布以都司署守备，仅二年，超摧大帅。”“受印之日，文武、民士聚观相叹诧，虽起豹傔从亦惊喜，以为皇上知人能任，使军气始振焉。是时，依故事提督列衔在巡抚前，曾国藩以事降黜，衔名在巡抚后。而塔齐布谨事国藩，自比于列将。”（《湘军志》，第7页。）