至于把曾、左、胡等人所统之部队概称为湘军究竟始于何时，尚待进一步探求，但王闿运在光绪初年撰写《湘军志》时，确已这样做了。湘籍学者梁绍辉认为，“湘军”之名，始于《清代大事年表》所记载的“咸丰三年七月，曾国藩遣湘军驰援江西”，也就是说湘军因为出省作战，为了区别于他省军队，才被称之为“湘军”。
曾国藩在后来的奏折中叙述这次出省作战的经过说：“（咸丰三年）五月十八日，江西省城被围，前安徽抚臣江忠源招募湘勇二千，楚勇一千，配以三厅兵八百人，赴江救援。其监护军行者则有夏廷樾、易良干、罗信南、康景辉、杨虎臣等，而罗泽南亦自带一营。七月二十日，军至南昌。二十四日因进兵太锐，先胜后挫，谢邦翰、易良干及罗信南之弟罗信东等同时阵亡，此湘勇出境剿贼、带勇绅士力战捐躯之始也。”
自古英雄多磨难，从来瓜儿苦后甜。湘军一起步就遭受了这样的损兵折将。靠舞文弄墨起家的湘军统帅们，凭耕刨犁耙养家的湘军勇丁们，要想成为大厦将顷的清王朝的中流砥柱，显然还需要经过一番脱胎换骨的磨练。
筹建水师保湘军
如果把湘军作为一个总体或者集团来对待，那么，湖南新宁应该是湘军的发祥地；如果把范围缩小到由曾国藩创建，并由他指挥的那一部分湘军，那么，湖南衡阳则是它的发祥地。
从曾国藩咸丰三年八月二十七日到达衡阳的那一天开始，到他于咸丰四年正月二十八日从衡阳出征的时候结束，他在这里待了整整五个月。
咸丰三年（1853年），中国近代史上的第一支新式地主武装湘军产生了。按最初的计划，只想编练一万人，但因曾国藩的号召力很强，军饷发的也高，很快便超过了这个数字。
陆师的编制是：塔齐布、罗泽南、邹寿章、周凤山、储玫躬、曾国葆、朱孙诒、邹士琦、杨名声、林源恩各领一营，每营五百人，共是五千人。王錱一人原领六营，约二千四百余人，曾国藩命其缩编为三营、一千五百人统带，王錱不服，率军投湖南巡抚骆秉章而去。
水师的筹建稍晚于陆师。1852年底，太平军进攻益阳、岳州，得到大批船只，遂建水师。后由武汉攻南京，千船万舸，蔽江而下，控制了千里江面。
迫于应付太平军的水师攻击，咸丰三年，清政府饬令湖南、湖北、四川造船练兵。湖南巡抚骆秉章自认建水师困难，没有进行。而郭嵩焘亲见太平军的水上作战，往来迅捷，遂建议江忠源再度上书，要求清廷拨款造船，编练水师。咸丰准奏，命令广东购置洋炮，两湖、四川造战船，建立水师，对抗太平军。
咸丰三年（1853年）冬初，曾国藩奏请拨款四万两，在衡州建立造船厂，日夜赶造战船。他请来广西同知褚汝航、岳州守备成名标督造船只，从广西速购大批木材。到咸丰四年初，湘军水师成军，共有战船三百六十一号，有拖罟（gu，大纲）大船一号、快蟹四十号、长龙五十号、舢板一百五十号、改装鱼船一百二十号。船上共装大炮四百七十门，新式洋炮三百二十门。
水师成军之初，人数与
陆师相等，也编为十营，官管由褚汝航、夏銮、胡嘉垣、胡作霖、成名标、彭玉麟、杨载福、龙献深、邹汉章、诸殿元十人担任。水营的招募从时间上看虽不太迟，但招募过程却很曲折。本来湖南之衡州、郴州、桂阳、永州一带多有习水性之人，也乐于应募，但曾国藩却不愿在那里招募。其原因一是陆师多在湘乡一带招募，水师也想在那里招募；另一原因是湘南一带多次发生起义。会党势力很大，曾国藩也不敢在那里招募。湘乡的壮丁多已参加了湘军和地方团练，又不习水性，所以不愿受招。但曾国藩利用各种关系，日夜说服动员，正好湘乡一带发生旱灾，百姓受灾生活困难，湘军的待遇又好，所以才纷纷投军，使水营也较快成军。
水师的营官招募也很困难。在刚刚开始创立的时候，曾国藩并不知道筹措水师需要做哪些工作，于是就四处咨询，幸赖彭玉麟、杨载福出为营官，才使水师成军，而二人终成湘军名将。
彭玉麟是清末的一个传奇人物，年轻时被传为刚直而又多情的“奇男子”，投军之时被称为“不怕死，不要官”的名将。
彭玉麟，字雪琴，衡阳人，即衡州西北蒸水之滨的衡阳县人。幼年丧父，家贫，随舅父去安徽芜湖读书。外祖母有一养女小梅，与玉麟年龄相仿，舅父无子女，玉麟与小梅犹如亲兄妹，深受长辈的喜爱。玉麟与小梅虽辈分有别，玉麟称之为小姨，但全家上下只此一对小男女，并无辈分之别。玉麟与小梅青梅竹马，两小无猜，相处甚洽。玉麟每天上学，小梅都给他准备好文房四宝，送出门外；每天放学，小梅总去接他；晚上玉麟读书，小梅为他掌灯，添油；玉麟爱画画，小梅为他研墨、铺纸。
时间一天天过去，玉麟和小梅一天天长大，纯真的情谊在这对小男女之间坚实地、一点一滴地滋长起来。他们虽都知道双方并无血缘关系，可是名分上的小姨与外甥怎好成亲呢？爱情的力量太不可思议了，玉麟17岁那年，衡阳传来凶信，祖母病故，他是长孙，必须回去尽孝。就在那苦苦分离之际，爱情之花抽蘖而出，小梅羞面如花，赠给玉麟一个鸳鸯荷包。玉麟紧握小梅的双手，吐出了藏在心里好久的爱慕之情，坚定地说：“等着，我来娶你！”
可是，彭玉麟回到衡阳，家境贫苦，母亲靠纺线供玉麟读书，无法拿出返回芜湖的川资。一别七年，直到外祖母病故才再次去芜湖时，这时小梅已经埋骨斗笠岭很久了。
彭玉麟在外祖母和小梅的坟前呼天抢地，悲痛欲绝。他以泪水和墨，写了悼念小梅的诗，其中一首是：“少小相亲意气投，芳踪喜共渭阳留。
剧怜窗下厮磨惯，难忘灯前笑语柔。
生许相依原有愿，死期入梦竞无由。
斗笠岭上冬青树，一道土墙万古愁。”
此后，他誓不再娶，母亲每逼问，唯一语：“男儿功名未成，何谈婚事。”
好在弟弟已成家，并生有儿女，母亲遂不再催问。但是，彭玉麟仅在十几岁时中了秀才，以后再未赴考。开始在衡阳绿营副将手下充掌书记，又为一富商看守仓库。有空即读《公瑾水战法》，又最爱画梅，几案箱笼，所处皆满。到曾国藩练湘军那年，彭玉麟已三十七岁了，仍是单身汉。
咸丰二年（1852年），耒阳地区发生武装暴动，急迫时，守城官募兵无以应，当时彭玉麟仍在耒阳富商家受雇，当机立断，发主人库存募勇守城。事息，城官保为绿营把总，彭玉麟一笑置之，并不受赏，被传为士林中少见之英杰。
曾国藩打听到彭玉麟的为人处世，尤其是此人熟读《公瑾水战法》，生在蒸水之滨，水性好，跑马射箭、枪法、拳术也都有功底，曾临战之功而不受奖赏。于是派人请他参加湘军，做水师将领。几次派人去请，彭玉麟也不受命。后曾国藩仿效刘备三顾诸葛的故事，亲往彭玉麟处相请，曾国藩见这位年近四十的汉子，依然长身玉立，英迈娴雅，十分敬佩。乃温言相劝，多方激励，方请得彭玉麟出山，做了水师的一个营官。
杨载福，又名杨岳斌（投军后因避咸丰之名载淳讳而改），湖南善化（今长沙）人。祖、父皆行武，有战功，父为游击官衔。居湘江滨，水性极佳。早年入行伍，参加镇压李沅发起义，升为千总。曾国藩办水师，把杨自长沙绿营中调为水师营官。
彭玉麟、杨载福入水师，为湘军水师的建设大出其力，成为湘军水师齐名的两个统领。彭、杨等水师营官每日抓紧指挥练习水战，至1854年2月，湘军水师终于练成。
此时，太平军先于咸丰三年二月（1853年3月）在南京建都，5月出师北伐和西征。西征军沿江西进、攻占安庆、九江、汉口、汉阳，江忠源向皇帝奏报，请咸丰下旨让湘军出师作战。几次催促，曾国藩皆以水师未成，船炮不齐，编练未就而拒不出战。咸丰几度下旨催逼，曾国藩提出一个三江、两湖数省军队统一部署、联合行动的战略计划，遭到咸丰的斥责。原来，咸丰此时并不知曾国藩的长远谋略，亦不知湘军水陆的实际情况，催他作战，也只是以为湖南乡勇可用，让他配合绿营。岂料曾国藩不仅不出，反提出数省合防的战略计划，便以为他口出狂言，下旨斥责说：“今观汝奏，直以数省军务一身克当，试问汝之才力能乎否乎？平日漫自矜诩，以为无出己之右者！”曾国藩接旨，既愤激，又惶恐。愤激者，以为两年前自己的犯颜直谏，咸丰仍耿耿于怀，且不理解他编练军队的“血诚”；惶恐者，太平军势力浩大，绿营军三年的惨败，他若率师作战，是否能胜，确无把握，若一旦失败，就真的是贻笑天下了。
所以，越是这么想。皇帝越是催得紧，他越是不出战。
然而不久，自己的师友江忠源、吴文镕先后败死，内外压力和愧疚之心使他再也稳不下神了。
吴文镕是曾国藩考进士时的阅卷大臣，是他的恩师。先为贵州巡抚，太平天国进攻长江数省，调为湖广总督。西征军攻武昌，吴多次向曾国藩求援，亦向咸丰大力推举曾国藩的水陆师情况，曾竟不赴援。咸丰四年一月十五日（1854年2月12日），吴领军在黄州堵城与太平军大战，军溃，吴文镕投水自杀。
吴文镕死前还给咸丰上疏，认为皖湘数省，只还有曾国藩一军可战：并写了一封遗书给曾国藩，让他好自为之。