杨载福，亦名杨岳斌(投军后因避咸丰之名载淳讳而改)，湖南善化(今长沙)人。祖、父皆行武，有战功，父为游击官衔。居湘江滨，水性极佳。早年入行伍，参加镇压李沅发起义，升为千总。曾国藩办水师，把杨自长沙绿营中调为水师营官。
彭玉麟、杨载福入水师，为湘军水师的建设大出其力，成为湘军水师齐名的两个统领。彭、杨等水师营官每日抓紧指挥练习水战，到咸丰4年(1854年2月)，湘军水师终于练成。曾国藩因“遭值世变，一以贤才为夷难定倾之具”，于咸丰2年(1852)初出办团练后，即开始物色人才，罗致幕府。随后随着战事的日益发展，湘军的日益扩大，幕府人物也逐渐多起来。幕僚容闳追述湘军安庆大营的情况说：“当时各处军官，聚于曾文正之大营中者，不下200人，大半皆怀其目的而来。”及曾国藩任两江总督时，“总督幕府中，亦有百人左右。幕府外更有候补之官员，怀才之士子，无不毕集。”幕僚薛福成《叙曾文正公幕府宾僚》一文写道：曾国藩“督师开府，前后20年，但凡从公治军书，涉危难，遇事赞画者”，22人；“凡以他事从公，邂逅入幕，或聚致大用，或甫入旋出，散之四方者”，22人；“凡以宿学客戎幕，从容讽议，往来不常，或招致书局，并不责以公事者”，26人；“凡刑名、钱谷、盐法、河工及中外通商诸大端，或以专家成名，下逮一艺一能，各效所长者”，13人，共83人，而且“其中碌碌无为，没有很大建树的人都没有全部列入”。李鼎芳的《曾国藩及其幕府人物》一书中的“幕府人物总表”则开列了89人。
曾国藩用人，如他在经学上不存汉宋门户之见相同，也注意五湖四海，声明用人的原则，应该是官员、乡绅并重，江南江北的人都用。故他的幕僚中，就籍贯言，89人中，湖南籍21人，占23%，属第一位；江苏籍17人，占第二位；安徽籍16人，占第三位；浙江籍10人，占第四位；其余四川、贵州、广东、湖北、江西诸省无不有人入幕。其人员分布，共达九省。就出身言，上至进士、举人，下至诸生、布衣，等级不一，均为座上之客。就人而言，既有曾国藩的同窗同年，乡亲故旧，也有曾国藩的门生弟子，还有一些则“识拔于风尘”。就特长或职业而言，突破了古代幕府中的幕僚多为办理文书、刑名、钱粮的人员的“实务性”框子，更多为出谋划策，从容讽议，招勇领军，指点州牧的“政务性”人员。除此之外，“凡法律、算学、天文、机器等专门家，无不毕集”。而且，“于军旅、史事外，别有二派：曰道学，曰名士。道学派为何慎修、程鸿诏、涂宗瀛、倪文蔚、甘沼盘、方某诸人；名士派为莫友芝、张裕钊、李鸿裔诸人”。当时在曾国藩的幕府中，有许多贤达之人，他们多是学界泰斗。曾国藩被他们的名声所震动，所以千方百计把他们都罗致到自己帐下；由于曾国藩首倡洋务，一批洋务官吏最先孕育于曾氏幕府，如李鸿章、左宗棠以及后来接办福州船政局的沈葆桢、致力于近代海军的丁日昌等；一些外交人员，如先后出使英、法、比、意的大使薛福成，出使英国的公使郭嵩焘，出使西班牙、德国的参赞黎庶昌，都曾经是曾氏幕府中的重要人物；一些科学技术人员，如李善兰、华蘅芳、徐寿、徐建寅，也被延入曾氏幕府。这些，鲜明地体现着曾国藩对幕府制因时变革的时代意识。
曾国藩幕府因为人数众多，范围广泛，加上曾国藩本人知人善任，因此“几于举全国人才之精华，汇集于此”。它被誉为清中叶后人才的渊薮，殆不为过。
用才
【原文】
虽有良药，苟不当于病，不逮下品；虽有贤才，苟不适于用，不逮庸流；梁丽可以冲城，而不可以窒穴；嫠牛不可以捕鼠；骐骥不可以守闾；千金之剑，以之析薪，则不如斧；三代之鼎，以之垦田，则不加如耜。当其时，当其事，则凡材亦奏神奇之效，否则抵牾而终无所成。故世不患无才，患用才者不能器使而适用也。魏无知论陈平曰：“今有后生考己之行，而无益胜负之数，陛下何暇用之乎？”当战争之世，苟无益胜负之数，虽盛德亦无所用之。余生平好用忠实者流，今老矣，始知药之多不当于病也。
——引自《曾文正公全集》
【今译】
就算有好的药物，若不对病症，还不如一般的药物有效；虽然有贤才，若工作不适合他的特长，就不如普通人；质地好的木梁可以冲开城门，却不可用它去堵洞穴；强壮的水牛不可以去捕捉老鼠；也不能用骏马去看守家门；用价值千金的宝剑来砍柴，其效果不如斧子；三代的宝鼎，用它开垦荒田，还不如用犁。在一定的时间，面临一定的事情，普通人也能发挥神奇的效果。不然，分辨不清，就将一事无成。所以说世上不害怕没有人才，怕的是用才的人不知道如何用人才。魏无知在评论陈平时说：“现在他很懂得孝德，但不懂得打仗胜负的谋略，您怎么用他呢？”当国家处于战乱时，如果不是掌握胜负之数的人，虽然有大德，也是没有什么用的。我生平喜用忠实可靠的人，如今老了，才明白世上药物虽多，但大多不对病症。
集思广益，成就大事
《清史稿》评论曾国藩道：“至功成名立，汲汉以荐举人才为己任，封疆大臣军营统帅遍布全国。以人事君，皆能不负所知。”石达开也曾称赞曾国藩“虽不以善战名，而能识拔贤将，规划料严，无间可寻。大帅如此，实起事以来所本见也。”
曾国藩深渊明白英才是制胜之本。在两军对垒的十二年中，湘军起先不过两三万人，由小到大，由弱转强，直至胜利；太平军则勃然兴起，雄师百万，却慢慢由强转弱，直到失败。是不是因为武器悬殊？不。双方的武器没有太大的差别。运输工具，太平军起初还占优势。是不是由于战略战术上的得失？统观全局，应该说，双方在战略战术上都有得意之笔，也有失误之处。兹事体大，不可以一二言概括之。然而，有一点很清楚，在强弱转化的过程中，双方在“人”这个因素上，出现了明显的变化与反差。从广西出发时，洪秀全周围有东、南、西、北王和翼王，猛将如云，士气高涨。然而，一场内讧，死的死，走的走，元老丧失殆尽，不得不起用陈玉成、李秀成等第二代将领。洪秀全本人深居宫闱，疑神疑鬼，“俱信天灵，诏言有天不有人”，即使对他不能不依靠的李秀成等人，也“信任不专”，时常掣肘，重用他的兄弟洪仁发、洪仁达，导致“人心改变，政事不一，各有一心”，奸佞之人发达炫耀，而英明贤达之士却四处散避，各方豪杰都不投门下，所以最终失败。与太平军相反，曾国藩起事于湖南时，不断受到湖南巡抚以下官员的嘲讽、排挤与打击，好友刘蓉在办团练一事上与他若即若离，好友郭嵩焘兄弟并不应召，握有兵权的王鑫时与他发生矛盾，后来在江西，当地的军政大吏也很有些与他过不去，让曾国藩常常有形孤影单的感觉。然而，发展到咸丰末年同治初年，曾国藩周围团结着大批良将谋士，胡林翼、李续宾兄弟、彭玉麟、杨岳斌、左宗棠、李鸿章、曾国荃、鲍超等人，都手握符篆，威震一方。虽然他们与曾国藩都存在很多的矛盾，但在攻打太平军这一点上，曾国藩基本上能号令如一。他们的步调基本上是一致的。一个“失人才”，一个“得人才”，太平军与湘军在同治元年前后己形成鲜明的对比。曾国藩说：“致胜之根本，实在于人而不在物。”这是入木三分之论。
曾国藩在长沙求学期间，与郭嵩焘、刘蓉交往很深。任京官时，又广交朋友，以文会友，他除了师理学事名家唐镜海、倭艮峰外，其他如吴竹如、窦兰泉、冯树堂、吴子序、邵惠西等友人，后来都成为他幕府中的重要人物。也有很多人慕名而来主动与曾国藩结交。他记载道：“又有王少鹤、朱廉甫、吴莘畲、庞做人。此四君者，皆闻子名而先来拜。虽所造有深浅，要皆有志之士，不甘居于庸碌者也。”湘军的重要将领江忠源还有文士吴敏树也是这时在京城结识的。他在礼部复试时，由于欣赏“花落春仍在”的诗句而识拔了俞樾，又在朝考阅卷时看中了陈士杰。
后来，他们对曾国藩的“事业”都有过很大的帮助，尤其是陈士杰。
曾国藩交游的目的非常明确，希望借助友人来指出自己之缺点。他说：有师友的扶持鼓励，即使懦夫亦能立志。
所以，他后来向朋友和兄弟们反复说明：国家由于获得人才而强盛。人才存在才能政通人和。想要自强，必须以修明政事，谋求贤才为关键任务：“治世之道，专以致贤、养民为本”；“国家大计，首重留心人才”。世上一切事情都是人干出来的，不管好事坏事都一样。古人说：“能当一人而天下取，失当一人而社稷危。”曾国藩是深知这个道理的，所以在人才问题上深具历史的卓识与战略的眼光。他对人才的广泛搜罗和耐心陶铸，是能够成功他的“事业”的一个重要原因。这一点，早已是人们的共识。后来，薛福成评述道：“自昔多事之秋，无不以贤才之众寡，判功效之广狭。曾国藩知人之鉴，超轶古今。或邂逅于风尘之中，一见以为伟器；或物色于形迹之表，确然许为异材。平日持议，常谓天下至大，事变至殷，绝非一手一足之所能维持。故其振拔幽滞，宏奖人杰，尤属不遗余力。”《清史稿》评论曾国藩道：“至功成名立，汲汲以荐举人才为己任，封疆大臣军营统帅遍布全国。以人事君，皆能不负所知。”石达开也曾称赞曾国藩“虽不以善战名，而能识拔贤将，规划精严，无间可寻。大帅如此，实起事以来所未见也。”