胡林翼是清朝难得的干才，他在镇压太平天国起义中脱颖而出，展现了他多方面的才能。
首先，胡林翼是清朝少见的军事家，他长于治军练兵，善于征战驰逐。在军事指挥上极有才具，有一套独到的军事思想。胡林翼强调将才在谋不在勇，应以静制动，以预应猝，以我料敌，通权变，知进退，能正能奇。胡林翼军事思想的核心内涵是：通变与坚忍。通变是灵活的军事方法，坚忍是坚定不移的精神意志，万万不可稍挫稍懈。胡林翼在十几年的戎马倥偬中充分实践了这一思想。
咸丰五年（1855年）胡林翼署理湖北巡抚，在军事上开始独当一面。他指挥围攻武昌的战事，这一年，对胡林翼来说，是出师以来最艰苦的磨炼，他虽名为巡抚，但号令不出30里，粮饷断绝，兵勇溃散。胡林翼在给妻子的家书中说：“今年打三四十仗，仗仗皆苦。”又抒发感慨地说，平生自谓才大，自幼即狂，谓世人皆无才，此次作守办一方之事，始知事之艰难，今年之难之苦，如不是竭力尽心，万难支持，“心中未尝不愁，却喜性情开朗，不甚怕死，故如此磨折如此艰难，形状如昔，惟须发稍白耳。”在这种艰难的处境下，胡林翼凭着封建儒生的坚忍志气，与太平军进行着长期的较量。在粮尽饷绝求贷无援的情况下，他派人到益阳老家，运家谷40余船，以济军需。由于兵将疲软，他对武昌采取围而不攻的战术，并利用这一机会，选将练兵，他说：“惩前毖后之计，首在练兵，明职教战之方，贵在选将”，他裁汰旧勇，重新募兵，并按湘军章程，以罗泽南、彭玉麟部为骨干，大力扩充在鄂湘军的水、陆二师，并以湖北籍将领余际昌等部为基干，建立一支约8000人的楚军，后来胡林翼陆续将湘、楚军扩编至6万人左右，从而使湖北成为当时军力最强的省份及日后围攻安庆、天京的大后方。
在长期备战之后，胡林翼于咸丰六年（1856年）十二月利用太平天国内乱之机，攻下了武昌，占据湖北大部分地区，并以日行800里的速度向朝廷报捷。清廷赏给胡林翼头品顶戴及太子少保衔，实授湖北巡抚。
在武昌争夺战的历练中，胡林翼增长了较多的军事经验，因此在后来协同曾国藩出师安徽时，便常有正确的战略观点，对于战事的全局产生极为深远的影响。例如他在咸丰九年至十年（1859—1860年），对太湖潜山战役的看法，便是最明显的例证。太湖与潜山处于皖鄂交界处，是太平军由安徽进入湖北，胡林翼由湖北进窥安庆的必经战略要地。咸丰九年（1859年）九月，曾、胡合军，在黄州商定四路东进，向安庆逼近。此时太平军固守太湖城，陈玉成率10万大军来援，意图不仅在解太湖之围，亦欲乘机击破清军，解除清军对安庆的威胁。战场形势的变化，使胡林翼感到急需调整战略部署，四路出击，兵力分散，难以抵敌。他与曾国藩一日一信，频繁切磋战事。曾国藩对放弃围攻太湖，迟疑不决，胡林翼明白提出：“应专打援贼”，即放走了太平天国守军，也无妨，援军破，则所得不止太湖；如果援军得逞，那就危及大局。在思虑定计之后，胡林翼不顾曾国藩的反对，将部署在太湖附近的各支清军合而为一，以多隆阿为统帅，合力御敌，与陈玉成部在太湖、潜山一带激战，又抽调各路清廷援军陆续投入战场，在包围与反包围的巧妙形势下，陈玉成主力被击溃。这一战役，使安徽方面的太平军再也无力阻止清军的全面推进，不久形成了对安庆的合围。