胡林翼，字贶生，一字润芝，湖南益阳县长冈村人。清仁宗嘉庆十七年（1812年）生。与左宗棠同岁，比曾国藩小一岁。
胡林翼出身官宦之家，其父胡达源曾以一甲第三名进士及第，直接入翰林院，授编修。后官至詹事府少詹事，为四品京堂。正因如此，胡林翼从小受重视，得到了较好的教育，并有不少奇遇。6岁时，他爷爷教他认字，读《论语》。8岁时，爷爷在益阳修志馆编修志书，他随侍在侧。刚好将赴任川东兵备道的陶澍顺路回老家益阳探亲，一见到胡林翼，就惊为伟器，曰：“我已得一快婿”，遂订下娃娃亲，将自己5岁的女儿许配给他。19岁时，胡林翼与陶澍之女琇姿（字静娟）在桃花江陶氏别墅完婚。
婚后两年，胡林翼师从本邑儒士蔡用锡，蔡氏不专重文艺，他教子弟务为有用之学，对兵略、吏治尤为重视，胡林翼在他的教诲下颇有收获。
道光十二年（1832年），胡林翼应岳父之召赴江宁（今南京）。此时的陶澍已升为两江总督，林则徐任江苏巡抚，正协助陶澍兴修水利，整顿淮盐。胡林翼目睹陶、林济民利国的事功实践，深受鼓励。
江南一行，胡林翼收获很大。从此，他勤奋读书，涉猎尤广，但不做寻章摘句之腐儒，笃嗜《史记》《汉书》《左氏传》《资治通鉴》及兵政机要等，学习经世之术。
在此期间，胡林翼还得到了躬行实践的机会。道光十一年（1831年）五月，沅湘大水，益阳受灾严重，饥民流离失所。当时在家受学的胡林翼担心饥民无食一变而为乱民，慨然曰“秀才便当以天下为己任”，挺身而出，面见县令，建议按灾区编户口，劝说富户出钱粮赈灾。他还提出具体的救灾方案，令当地保甲根据贫富情况造户口册，分上、中、下三等，上户不管，中户可减价买米，下户免费给米，限期一个月。但是劝捐举措遭到富民的抵制，他便首先请岳父家捐出2000两银子以作表率，然后对其他富民苦口婆心劝导，“以至诚感之，以大义责之，以危言动之，以赏劝诱之”，终于大家开始踊跃捐款了，很快积聚了数万两银子。当时的胡林翼年仅20岁，但他勇于任事，所表现出来的刚毅果断、成熟稳重、灵活机智完全超出其年龄范围。
而在两江督署，胡林翼有机会见到一些督抚，遂通过他们的言谈举止来判断其人。他认为林则徐、卢坤等的心术德量与陶澍相同，并请陶澍密保林则徐、伊里布作为两江总督的继任人选，陶澍深以为然，很器重他这个毛脚女婿。
胡林翼在南京时，也时常纵情山水，并流连忘返于秦淮河畔、钓鱼巷中。有人密告陶澍。不料陶澍却替他说话：“以润芝之才，将来必然担当大任，辛劳将十倍于我，以后恐怕没有时间玩乐，此时姑且让他玩吧。”这是野史记载，不能确信，但清代士人狎妓非常普遍，胡林翼是官宦子弟，养尊处优，放荡不羁，有些风流韵事也是可能的。从胡林翼身边人的笔记中就有蛛迹可寻，如曾国藩的幕僚欧阳兆雄、朱孔彰说胡曾是“纨绔少年”，“常恣意声伎”；而胡的幕僚徐宗亮也说他“少年有公子才子之目，颇豪宕不羁”，并且他过惯优越生活，即使在艰苦的军营中，也“厌饫极精”，“无三日不小宴”，不能像曾国藩、左宗棠那样粗茶淡饭，蔬食自甘。
24岁时，胡林翼中进士，选为翰林院庶吉士。三年后，授翰林院编修，开始仕宦生涯。道光二十年（1840年）胡林翼充江南乡试副考官，为朝廷选拔人才。清代的翰林官，有所谓红翰林、黑翰林之分。其“红”、“黑”之别，就看他在仕途上是否通达，如常得到点派各省学政、乡试考官，以及国史馆等处的纂修等差使，不仅收入多，而且姓名咸在帝心，升迁自然也快，这就是所谓红翰林了；反过来说，数年不得一差，考试又常居中等以下，不但升转无望，而且贫寒彻骨，这自然是所谓黑翰林。胡林翼成了翰林之后，一参加大考就列为二等，翌年又两次点派差使，可见他是一个红翰林。正当胡林翼春风得意、以为前途无限光明之时，他却在江南乡试副主考任上因正考官文庆带人入场代己阅卷一事栽了跟头，以失察降一级调用，由待升的红翰林降为内阁中书。不久因父病故，胡林翼开缺回籍。
等胡林翼丁忧期满，可以复补官职时，他的一班同年，有的已经升得很高，比胡林翼晚3年才中进士的曾国藩，此时也官至翰林院侍讲，高出内阁中书许多了。因此胡林翼觉得心灰意懒，自感宦途蹭蹬，功名无望，有终老家居之想。于是，他闭户读书，4年不出家门。此前的胡林翼是一个功名得意的宦家富贵公子，生活豪奢，纵情声色，很有点纨绔阔少的味道。经过此番挫折磨砺之后，他在生活思想方面，有了很大的转变：昔日的浮夸奢靡，一变而为此后的沉着、稳重、笃实、老练。可以说，胡林翼一生的事业，并不始于他中进士、点翰林，而是始于他丁忧复起之后。