成人后，特别是自当了亿人瞩目的棋圣之后，老聂给世人的印象是作风豪爽，敢做敢为，大碗喝酒，言词开朗，举止大气，争强好胜间一派江湖老大气概。可童年之际的老聂与成功后的棋圣表现出来的情形，却出入很大。
在这里，兄弟摘录一段老聂口述的回忆录：
我患有先天性心脏病，不能进行激烈的运动，从小学到初中都是免修体育课的学生。像我这样一个先天不足的男孩子，在学校里自然成了被人欺负的对象，为了免受欺负，我不得不经常向班上的大王进贡点小东西，如铅笔啦、橡皮啦等等，以表示臣服之心。那时候，我对那些跑得快、跳得高、力气大的男孩子简直羡慕得要命，不止一次地幻想过自己突然之间长得又高又壮，好去教训一下那些欺负过我的大王。可惜幻想成不了现实，一有了好吃的东西，我还是得乖乖地给他们送去，虽然心里一百个不愿意。总之，这些事极大地刺伤了我的自尊心，为了证明自己存在的价值，我把精力转移到凭智力取胜的活动中去，并对所有能比出输赢的游戏产生兴趣，这使我从小养成一种极强烈的争强好胜的性格。
基于以上描述，兄弟有了这样一些判断。
一、童年时越是经常被人欺负的孩子，成人后内心的不平衡与报复欲越是强烈。老聂自称争强好胜的性格，恰恰是童年时受到过很多伤害后留下的心理后遗症。这也是为什么，今天当今社会中，贪婪起来少有底线的官员，多出身于苦大仇深的底层家庭。
二、人生长的各个阶段，都有各个阶段的江湖。当年兄弟在清华附小学习时，对校园当中存在着的一些欺小凌弱的情形也深有感触。好在有个哥哥，少年之际有个大几岁的人在上边罩着，被欺负的机率低得多。可怜的老聂，上边只是有两个姐姐，男孩子中，他是老大，所以在校园里，很多事情就得他这个小病号扛着了。
三、老聂就读的学校为北京小学，在当时的北京东城区里，算是数一数二的贵族学校了，但从最近刚刚离世的首创晓光董事长当年的自述里得知，那时节见着老聂他们这些知识分子出身的子弟来校时，不带点东西送上就想从身边走过，那是不允许的，晓光他们这些玩闹儿是会动手修理那些忘性大的孩子的。
四、提及家境，尽管老聂常说童年很苦，寒冬来临，别的孩子已经穿了棉鞋，可自己只能穿一双露趾的单鞋。兄弟以为，老聂的表述有点夸张。可能是家里的孩子多，在他成长的岁月中，可能有过那么一两次，班上少数家境宽裕的同学穿上了棉鞋，甚至是毛皮鞋，而自己和多数同学还穿着单鞋，但这种情形，应该不会像是老聂自称的那样，经常发生。
从老聂父母的资历上看，在南池子附近，他的家境肯定好过周围其他同学。老聂的父亲聂春荣属于1938年以前参加革命工作的老干部，正经的十三级以上高干。根据当时的待遇与收入级别，老聂的父亲早在东北解放之际，已经是沈阳工业局的负责人了，到了北京之后成了一机部机械局的领导，其工资应在200多元，当时看绝对属于高收入一列。要知道，尽管国家在干部制度上形成了一个从人民领袖到基层官员的24级收入制度，但人民领袖，高风亮节，长期只拿四级干部的工资。那时在中国真敢从财政部门那里领取国家一级干部594元月工资的，举国上下仅有国母宋庆龄等少数民主人士。连毛泽东都只是从国家那里领取四级干部的月工资425元，接下来刘主席、周总理、朱总司令，一路数下来的成千上万个大小官僚们，哪个敢让自己工资条上的数目，越过人民领袖？
上世纪五十年代，干部队伍极其廉洁，灰色收入之类，想都别想。老聂小时候那会儿，父母两人每月收入加起来，应在350元人民币左右。当时基本上都是公费医疗，政府提供的公房月租极低，孩子读书每学期学费仅需数元，离家不远的东安菜市场里的大米与猪肉价格极低，当然乡村出身的聂吴夫妇，每月可能还要向老家父母汇款若干，这样算下来，聂家七口人均生活水平应在45元上下，相对来讲，已是社会之上的小康之家了。要知道，当时聂局想带家里改善生活，揣着一张10元的大团结，就敢领着一家七口到不远处的王府井或前门，狂搓一顿。因此说，老聂一讲当年的苦日子，就让今天的八零后与九零后，感叹不已，其实有点言过其实了。
老聂总是说，自己童年家里穷，啥玩具也没有，全家就一副围棋。闻此，兄弟有点感慨，万一老聂生在今天，家里到处是汽车模型、变形金刚，精装画册、电脑动漫、乐高拚装及激光游戏机之类，那人类的围棋社会里会不会从京城南池子附近走出一代棋圣来？很难讲了。
上世纪五十年代之际，京城的文化生活相当贫乏。尽管老聂他们家地处市中心，周边王府井的剧院，六部口的音乐厅、先农坛的体育场、沙滩的美术馆及东单西单附近的电影院，骑着自行车都能赶过去，但由于当时所有的文艺节目都带着主旋律高大上特色，观之实在乏味。至于体育赛事，国际方面基本没有，偶尔来个社会主义兄弟国家的球队，那就是几年里会被京城百姓们常提不止的盛事了。其他的多是单位之间友谊第一比赛第二的低级竞技，鲜有观赏性。家庭邻里方面，麻将牌九之类基本遭禁，真能令人感点兴趣，又不至于犯错误的似乎只剩下文艺方面的民歌200首与手风琴练习曲，竞技方面的乒乓球与棋牌了。
兄弟小时候成长在清华校园之中，那时和大人上班一样，附中与附小学生每周要上六天的课，一个星期里只有一个休息日。于是，周六的晚上，你在清华校园里走上一遭，就会发现，更多情形下不是这家在玩已经缺了角的扑克牌，就是那家用缺了子以小圆盖代替的象棋，玩围棋的家庭并不多，全清华数得过来，除了常家、孙家、钱家，许家与关家外，喜爱这玩意儿的真不多，难，且太耗时间。
在京城的另一个角落，由教育与文化皆有特殊优势的黄石吴家与衡水聂家组合的家庭里，在那个年代里每一个极其珍贵星期日的一个南池子家庭里，吴家老爷子都会领头，女儿、女婿，加上几个好奇的外孙子，几个脑袋挤在一张蓝色的塑料围棋布上，前边忙着做眼，后边紧着打劫地博弈了起来。
前文说到，老聂的父母相识于延安，棋为媒，最终两张床单，两套被褥实现了合二为一。两口子过日子，新添了不少的东西，扔掉了很多感情不宜的旧物，惟有两盒围棋棋子，从陕北延安的黄土窑洞带到了沈阳铁西区的西式洋房，再带到了北京南池子的居民院落。在相对和平与稳定的岁月里，连续添丁增口，又将湖北老家的外公接来，一家祖孙三代，最大的快乐就是的偶尔脸红，但极少脖子粗的家庭对弈了。
用棋圣老聂的话讲，我的围棋启蒙不是父母手把手教会的，而是先低头看棋盘，再抬头看表情，最后重新低头看着争吵与斗气当中的大人犹豫中布阵与欢喜中提子中慢慢领悟的，跟着外公，第三代里老聂的姐姐姗姗先学会了下棋，然后是老聂和弟弟继波及继志，看着大人们前杀气后做劫地学会的。