孔子的一生，屡不得志。他曾周游列国，向各国统治者宣扬治国安民的政治主张，但却与当时勾心斗角、尔虞我诈的官场政治格格不入。在夕卜漂泊了十四年。累累如“丧家之犬”，最终黯然回到鲁国，以潜心讲学，整理古籍而度其余生。他生前并不得志，但他的子孙们却深蒙他的学说遗荫，自汉代以后，历受皇恩厚赏，其家族宅室竟也享受了仅次于皇室的规格待遇。在这门第森严的深府大院，有许多不为人知或发人深省的故事……
自汉代开始，历代封建政府对孔子后裔开始加封。汉高祖刘邦封孔子的九代孙孔腾为“奉祀君”，汉元帝将孔子的十三代孙孔霸封为“关内侯”，赐食邑八百户。魏晋南北朝时期，孔子的思想继续得到尊崇，孔子后裔仍有封爵。唐代，孔子后裔地位比汉代有较大的提高。唐高祖封孔子三十代孙孔德伦为褒圣侯，唐玄宗将孔子后裔的爵位由“侯”升为“公”，并宣布圣人之后不纳赋税。宋代更加尊崇孔子，宋仁宗改称孔子嫡长孙为衍圣公，自孔子第四十六代孙孔宗愿被封为衍圣公起，这个封号一直持续到清末，前后持续了三十二代，有41人袭封。
孔府位于曲阜城的中心，是孔子后世嫡系长孙居住的府第。孔府，过去称为“衍圣公府”，简称为“圣公府”、“圣府”等，民国后改称为“大成至圣先师奉祀官府”，简称“至圣府”；中华人民共和国成立后，通称为“孔府”。
孔府大门的正中上方高悬着蓝底金字的“圣府”匾额，为明代严嵩手书。大门两旁的明柱上，悬挂着一副蓝底金字对联：“与国咸休安富尊荣公府第，同天并老文章道德圣人家。”
这副对联是清代着名大才子，《四库全书》的总编纪昀所书。细心的人们会发现，对联中的“富”字，少了上面一点；文章的“章”字，下面“早”字的一竖一直通到上面的“立”字。这是怎么回事？难道学贯古今、知识渊博的纪昀会犯如此低级的错误？这倒不是。据解释，“富”字上面少一点，叫做“富贵无项”；“章”字，下面“早”字的一竖一直通到上面的“立”字，这叫做“文章通天”。由此可见，这副字美文佳的奇特对联，恰恰显示了作者的匠心独到之处，从而概括出孔府千百年来不同凡响的“公府第”、“圣人家”的气派。
孔府大堂正中上方悬挂着一块“统摄宗姓”的横匾，上面规定着衍圣公在孔氏家族中的种种特权。这是清顺治皇帝给孔子六十六代孙孔兴繁的圣旨原文。从唐代起，朝廷就规定曲阜县令由孔子嫡系长支后裔兼任，明代以后，规定由衍圣公管摄，保举孔氏族人兼任。
孔府二堂是衍圣公会见四品以上官员和受皇帝委托每年替朝廷考试礼学、乐学童生的地方。在由大堂进入二堂的穿厅里，有一条古朴的长板凳，相传这就是有名的阁老凳。孔子的六十四代孙孔尚贤娶明朝权倾一时的严嵩孙女为妻。严嵩晚年遭弹劾将要被治罪之时，曾亲自跑到孙女家，想请衍圣公为他到皇帝面前求个人情。没想到孔府的人对他冷若冰霜，不许他进入室内，就让他坐在过廊里的长凳上候着。此时的严嵩，只为一介布衣，全无昔日炙手可热的威风，也只好乖乖地等着。就这样，原本两条很普通的木板凳，经严嵩这么一坐，身价倍增，被孔府不断整修。几百年过去了，依旧完好无损。直到现在还摆在原地，成为人们嘲笑严嵩的话题之一。
孔府的中路的后半部分是内宅，又称作“内宅院”。内宅门里北面，有一个3米长、2．5米宽的照壁，上面绘有一幅状似麒麟的巨大彩色动物——犭贪，它狮尾、龙头，周身挂麟，长毛昂首，卷舌露齿，正对着左上方的一轮红日，张口欲吞。猃是古代神话传说中的贪婪之兽，能吞下金银财宝。此时尽管它脚下和周围全是宝物，但它还是不满足，甚至还想吃掉天上的太阳，真可谓是贪得无厌。在过去的官府里经常可以看到这种画，以告诫官员引以为戒。衍圣公将此画绘在内宅门的内壁上，目的自然是告诫子孙不要贪赃枉法，倘若为官，也要清廉公正。
内宅门第一进院落的前上房，是孔府举行婚丧嫁娶宴会的地方。室内明间正当中悬挂着慈禧太后亲笔写的巨大的“寿”字。而最醒目的则是东间两张八仙桌上，重重迭迭摆放着的一套满汉锡银合金餐具。这套餐具共有四百零四件，大多是双层，上盛菜，下盛水，以起保温作用。这是一套典型的象形餐具，盛什么菜就用什么形状的餐具。如盛鱼，餐具盖就是鱼的形状，盛果，餐具盖就是水果的形状。将这套餐具全部展开，办一桌满汉全席，共可上一百九十六道菜。孔府的气派可见一斑。
孔府的东路有一座慕恩堂，是孔子七十二代孙孔宪培和夫人于氏的纪念堂。据传于氏是乾隆皇帝的女儿，自古满汉不通婚，更何况是皇室公主，怎么会嫁到孔府？这里面也有一段故事。
相传乾隆皇帝的女儿脸上长有一个黑痣，这本来也是正常的事情。但这种事情发生在帝王家里，就变得不正常了。那些御用相面先生们也趁机大作文章，或说“主贵”，或日“主贱”，甚至有“克夫”、“短命”之说，公主必须嫁一位大福大贵之人，才能消灾除难。这样一来，便给公主的婚事带来了麻烦。因相貌原因，要想在门户相当的王亲贵族中嫁一如意郎君，就不是那么件容易的事。后来有人献计说，孔子的七十二代孙孔宪培是当今的衍圣公，当属大富大贵之人。乾隆听后，觉得很有道理，但这事在具体操办时却又遇到了麻烦。清政府规定，满汉是不能通婚的，即便是皇帝，也不能带头违犯这一规定。后来，乾隆将女儿送给朝内二品官汉族人于敏中作义女，这样，姓爱新觉罗的皇家公主便成了于氏，下嫁给衍圣公孔宪培，破例结成了满汉姻缘。这件事固然与公主的相貌有关，但也反映了乾隆想通过与孔府结亲来显示满汉联合的意向。在当时看来，作为皇帝的女儿，能下嫁孔府，不仅是皇帝对孔府的垂恩，也是整个汉族的一种荣耀。自从于氏嫁进孔府后，朝廷对孔府更是恩赐有加，乾隆生前曾八到曲阜，以示尊孔。孔府后人为了纪念于氏恩德，感慕皇恩，在孔宪培夫妻双双去世后，专门修了这座慕恩堂，以示纪念。