因地处偏远，李续宾、李续宜兄弟其始未参与总团的活动，而在乡里另建有团练组织。李氏家住湘乡县崇信都岩溪里，临近宝庆府界。早在道光二十九年李续宾就在彭洋中的函请和其次兄的敦促下，纠集“二百余人，教之击刺”（《湘军人物年谱》（一），第108页。），准备开赴新宁参与镇压李沅发起义，后因李沅发败走，取消此行。咸丰元年三月李续宾在参加县试时“受知于”湘乡知县朱孙诒。十月王錱之兄王勋探访李续宾，大约带来王錱等人举办团练保甲的信息。从此，李续宾“益讲求团练事”。咸丰二年四月“邑宰朱公孙诒檄公（指李续宾）领团丁捕搜土匪”。“公乃招募二百人以行。官中又不名一钱，皆公取于私家以食之。”途中“闻铳声，以为贼至，而逃者过半。”“乃又增募数十人以补之。初相从最有名者：胡中和、周宽世、蒋益澧、萧庆衍、李登辟、李续焘诸君；增募有名者：周达武、朱品隆、胡裕发、刘神山、李存汉等。”（《湘军人物年谱》（一），第109，110页。）太平军围攻长沙期间，李续宾先“领团丁驻宁乡”，八月“率团丁还县”，与罗泽南、王錱合编。其时，“合邑团丁不满三百人，无所统属，闻警则逃。又民家往往不欲团丁驻宿”，他们只得买河干屋为治事之所”，“而屯团丁于涟滨书院，日教以坐作进退，少长有礼。”又请湘乡知县朱孙诒“节制之，严为法令”。朱孙诒遂以湘乡县衙的名义“出告示曰：‘如有不遵号令约束，造谣惑众，奸淫掳掠，泄漏军情，损坏人民房屋、坟墓及身体，犯此者死。如有聚众赌博，吸食鸦片，遗失器械，喧呼斗殴，犯此者杖革。如有点名无故不到，操练不勤，出入不告，吹弹歌唱，争先落后，犯此者责罚。”（《湘军人物年谱》（一），第110页。）经过这次整顿之后，湘乡团练的纪律稍有改观，这群投笔从戎的书生，也积累了一点治军经验。更为重要的是，经此历练之后，他们已由思想上的卫道者，变为农民起义军政治上的对头，封建制度与清政府的自觉捍卫者。
此外，原为清朝基层官员的李孟群，曾历署桂平知县、得州知府，积极参加镇压李沅发起义和追堵围剿太平军的活动，并因此受到曾国藩的赏识，咸丰四年将之调至湖南统带水师。“时武昌陷，闻父殉节，日夜泣血，誓灭贼。”（《中兴将帅别传》，第204页。）亦属与太平军不共戴天的人物。
淮军的情况则略有不同。淮军骨干分子主要由湘军军官和庐州团练的团首组成。由于官绅未尽熔为一体，庐州团练一开始即有官团与民团之分，且相互之间嫌隙甚深。刘秉璋的儿子刘体智对此曾有专门叙述：“英果敏（英翰字西林，满洲正红旗，举人出身，官至两广总督。谥果敏。）任合肥县时，倚乡绅解某，混名解五狗子者治官团。同时，李采臣方伯（李元华字采臣，安徽六安人，举人出身，官至山东布政使。）率西乡诸圩治民团，实为淮军之先导。官、民分两党，各不相下。”“寇至则相助，寇去则相攻，视为故常。叶曙青军门（叶志超字曙青，安徽合肥人，官至直隶提督。）时为解家将，每战勇冠其曹。一日，途遇一女，羡甚。解慰之曰：‘汝战若再捷，吾为汝致此。’乃夺而与之。既而知女与张靖达（张树声谥靖达。）昆仲为中表妹，公然不惧，唯不通往来而已。”“李部健将其后有铭、盛、树、鼎四军，隶李文忠麾下，同时乡曲悉被引用。”铭、盛、树、鼎四军之首领，分别为刘铭传、周盛波、张树声、潘鼎新。“张靖达与弟勇烈居于乡，粤寇过境，乡人咸筑圩练兵自卫。寇众大至，悉众入堡，以死坚守。贼不能久留于小邑，往往为所拒退。寇去追杀，每获辎重、俘殿兵以论功邀赏，有名于时。同时有周刚敏、武壮昆仲及刘壮肃之圩相近，守望相助。潘琴轩中丞（张树珊谥勇烈。周盛波谥刚敏。周盛传谥武壮。刘铭传谥壮肃。潘鼎新字琴轩，官至广西巡抚。）为赘婿于青阳司巡检署，随至庐州府，行无所归，因从李采臣方伯办民团，所谓吃大锅饭者也。”（《异辞录》，第1卷，第26、27页。）在此期间，潘鼎新之父潘璞亦在家乡庐江县办理团练。咸丰十一年湘军“围怀宁、桐城甚急”，太平军驻庐江部队速往援救。潘璞“督乡团自后袭之，战庐江东门外，军败，被执至三河镇，骂贼死。”潘鼎新“乃号哭，请于大府，率乡团及诸子侄疾攻三河镇，克之，擒斩剧贼数百，负父骸归，哭而誓曰：‘不尽杀诸贼，非人子也！’曾文正督师安庆，闻而壮之，檄为淮军将。”（《中兴将帅别传》，第273页。）当李鸿章回籍招兵之时，“解部（即英翰所办之官团）因有宿怨，患不相容，故莫之从。洎先文庄（刘秉璋字仲良，安徽庐江人，翰林出身，官至四川总督，谥文庄。）出为将，始招至军。其著者曰解先搢、曰解向华皆战死，曰黄桂荣以伤废，曰吴武壮（吴长庆字晓轩，安徽庐江人，官至浙江提督，改广东水路提督；谥武壮。）仕至广东提督，曰王占魁仕至广东高州镇总兵，曰叶志超仕至直隶提督。”（《异辞录》，第1卷，第26页。）
除带兵将领外，文幕人员也有不少人曾在家乡举办团练，对抗太平军及其他农民起义武装。例如，咸丰四年广东“海阳县三合会吴忠恕等围攻潮州府城”，丁日昌“以邑绅身份治乡团，率汤坑乡勇三百人援救。”（江村：《丁日昌生平活动大事记》，广东人民出版社1988年出版，第13页。）潮州府城解围，“选琼州府学训导，录功叙知县，补江西万安”（《清史稿》，第41册，第12513页。）。李兴锐湖南浏阳人，以诸生在本县教书度日。咸丰二年浏阳征义堂起事。李兴锐举办团练，协助江忠源将之镇压下去。以是受到浏阳教谕李竹浯的赏识，将他荐入曾国藩幕。咸丰十年，陈金刚发动起义，占据高州、信宜等地，据有两广十余州县。丁忧回籍、主讲高州书院的前刑部主事陈兰彬，督练乡兵，积极参加镇压陈金刚起义的军事活动，前后达三年之久。并主动献计，诱陈部将郑金叛变，配合清军将这场起义镇压下去。叙功加四品衔，赏戴花翎（《清代人物传稿》下编，第5卷，第19—20页。）。陈士杰早在咸丰二年就在家乡湖南桂阳州办团练，防堵太平军入湘，并因此受到曾国藩的赏识，于咸丰四年调入幕府。咸丰五年回籍专治团练，并将当地乡团编练提高为勇营武装，称广武军。此后数调不出，曾国藩令其赴援上海，且已授江苏按察使，亦辞不受命，一意在籍办团练，以严防石达开再入湘境为己任。胡大任湖北监利人，在礼部主事任内奉旨回籍帮办团练。自咸丰四年闰七月曾国藩率湘军攻入湖北起，即在新堤一带随军办理沿江团练。曾国藩称其：“辛勤督劝，颇著成效。”（《曾国藩全集》第1册，第457页。）再如，黄彭年“咸丰初随父在籍治团练”（《清史稿》，第41册，第12354页。）。陈宝箴“以举人随父伟琳治乡团，御粤寇”（《清史稿》，第42册，第12741页。）。萧世本四川富顺人，初为直隶知县。因“先在籍治团练有声，曾国藩莅直隶，辟为幕僚。”（《清史稿》，第43册，第13075页。）冯桂芬初为翰林院编修，咸丰三年丁忧期间，亦在原籍苏州举办团练，并受到官升右中允的奖励。他如沈葆桢、潘鸿焘、郭用中也皆有在籍举办团练的经历。即如著名科学家华蘅芳亦曾在籍治团练，对抗太平军。其父华翼纶曾在家乡无锡、金匾一带办理团练多年，是苏南地区的著名绅士。他和徐寿都是在华翼纶的带领下，方才进入曾国藩幕府的。
曾国藩集团的骨干成员，除绝大多数来至军营弁兵和士绅、团练首领外，还有一部分出身于太平军及其他起义军降将。其主要人物有韦俊、程学启、李能通、方有才、任永清、周寿昌、唐仁廉、董福祥、潘万才。他们也是革命人民的死敌。韦俊又名韦志俊，系太平天国北王韦昌辉的胞弟，韦昌辉被杀后，弃武昌退往安徽，经人说情天王洪秀全仍封他为右军主将。咸丰九年在安徽池州叛变，与湘军约期攻打芜湖，其部将黄文金等反戈一击，夺回池州，韦俊逃入水师彭玉麟部。彭玉麟依照曾国藩的指示，将其军大部遣散，仅留数营令其统带，充分统。他曾在争夺咽喉要地极阳之战中，为湘军立下大功，使安庆失去唯一的对外通道，陷入绝境。又曾奉派随萧翰庆赴援杭州，中途与太平军遭遇，所部溃散，使萧翰庆白白送掉性命。后调属曾国荃部，随同攻打天京，天京陷后首批裁撤。据说，韦俊其后又重返降清之地，安徽韦氏即其后人。程学启安徽桐城人，咸丰三年参加太平军，隶叶云来部。咸丰十年湘军围安庆，奉命守城外堡垒。咸丰十一年曾国荃诱降，约降有日，未行而事发，程学启急奔湘军军营，投降曾贞干，而曾国荃却并不完全相信他的诚意。“初，公（指程学启）气傲诸将，诸将谗公”，曾国荃“犹虑公为变”，对其严加防范。当时，湘军掘长濠困安庆，“曾公（指曾国荃）军濠内，公军濠外”当敌锋，“令无召不得入濠内，濠内置炮对公军。”其日用薪米由濠内接济，每当运送之时，“濠上为梁”，“既济，撤濠梁。苦战数月，克安庆，公功为多。”“至是，曾公深信之。”（《中兴将帅别传》，第256页。）曾国藩自东流大营至安庆，程学启“进谒”，曾国藩“奇之，使将千人”，命其营名为开字营，“而未大用也”（《庸庵文编》，第4卷，第12页。）。“是时，湘军之锋甚锐，鸡犬皆有升天之望”，程学启战功虽著，“客籍混其中，颇难出人头地”。恰李鸿章“率淮军东下，求将才于”曾国藩。程学启“为桐城籍，乃以其军隶焉，且勖之曰：‘江南人爱张国梁不置，汝往，又一张国梁也。’”（《异辞录》，第1卷，第27、28页。）所部增至四营二千人，遂成淮军初战上海时最为强悍的一支。
周寿昌原名钱桂仁，又名百顺、得胜，安徽桐城人。同其兄百春一起参加太平军，具体时间不详。咸丰十年已晋封慷天燕，充任镇守常熟的太平军主将的副手。钱百春先投降清军，咸丰九年已升至守备。钱桂仁一直与之保持秘密联系，早有降清之心，并于咸丰十一年通过徐少蘧获得江苏巡抚薛焕的“谕单”。随后同熊万全、李炳文、徐少蘧串通，先后数次阴谋献苏州、太仓、昆山降清，但皆未得逞。同治元年他的部将骆国忠在常熟叛变，使苏南太平军陷入腹背受敌的困境。只因当时他正在苏州而未被揭露，还一再晋爵，升至比王。后调往杭州，复与清军约降献城，未行而事发，大批叛徒被捕、被杀，他却安然无恙，再次逃脱惩罚。直至同治三年杭州失陷，大批太平军撤走，他才有机会投降湘军，后辗转加入淮军。董福祥甘肃固原人，同治初年乘西北回民起义之机，在安化起义，聚众十余万，据花马池为基地，势力波及陕、甘十数州县。后被刘松山所败，其父先降，他亦率众降。简其精壮编为董字三营，由董福祥统之，并自带中营。其余如李能通、方有才、任永清、唐仁廉、潘万才等事迹不详，皆属降将，李、方、任官至实缺总兵，唐、潘官至实缺提督。