冯桂芬，字林一，号景亭，自称邓尉山人，人称校邠先生，1809年出生于江苏吴县城外山塘北冯家滨一个名门望族家庭。父亲冯智懋，官至翰林院编修；母亲谢氏，对子女要求严格。冯桂芬从小就受到传统的封建教育。
在1826年和1829年，冯家连遭两场大火，从此家道中落。冯桂芬于逆境中更加发愤攻读诗书。他工于文章、书法，博览群书、通晓经史、早负盛名，并1832年中举人。当时林则徐正在苏州任江苏巡抚，经常在紫阳书院和正谊书院讲学，冯桂芬因此与之结识。林则徐对他备加赏识。亲自指导他的学习，冯桂芬因此拜林则徐为师，并帮其校对书稿，从而深受林则徐“经世致用”思想的影响。他后来与姚莹、陈庆镛等人交往，与他们讨论学问、关心时政，眼界大为开阔。
冯桂芬中进士前曾出外任职，“初佐某邑令治钱谷，以事不合拂衣去”，又先后入两江总督陶澍、裕谦幕，“自未仕时已名重大江南北”。冯桂芬1840年中进士，授翰林院编修；1843年任顺天乡试同考官；次年任广西乡试正考官（主考）。1845年，冯桂芬官教习庶吉士，旋即因母丧返乡守制，服满后任南京惜阴书院山长，1848年年底入京。不久咸丰帝即位，下诏求贤，冯桂芬被大学士潘世恩举荐，但随即又因丁父忧再次返籍守制。