子恺随遇而安，如在浙江上虞白马湖畔的，称为小杨柳屋。贵州遵义南潭巷的，称为星汉楼。重庆沙坪坝的，称为沙坪小屋。以及上海的日月楼等处。他生长于石门湾，一度迁居嘉兴杨柳湾金明寺弄，又常去上海江湾关心所办的立达学园，所以有人戏称他为三湾先生。最主要的当然是他家乡石门湾的缘缘堂。这堂是在原有的老屋德堂翻建的，他亲自绘图设计，极高大、轩畅、明爽、朴素之美，时在一九三三年，是一幢三开间的南向楼房，楼下中间是厅堂，西边为书斋，东边是家人就餐处，“缘缘堂”三字匾额，出于马一浮手笔，两旁挂着李叔同写的屏条，又有吴昌硕画的梅花巨幅，沈寐叟、李叔同的对联，他自己也写了楹帖，录王荆公的诗句：“草草杯盘供语笑，昏昏灯火话平生。”庭除间有半圆形的花坛，他亲种樱桃、蔷薇、凤仙、鸡冠、牵牛等花木，还有一个扇形的花坛，种了芭蕉，以体现“红了樱桃，绿了芭蕉”的词意。书斋里藏着图画一二万卷，由此可见主人何等的志得意满，准备终老是乡了。但不意仅享受了五年清福，及日寇侵略，肆意焚毁，这样好的家庭环境，竟成为一片焦土。子恺痛惜之余，撰写了一篇《还我缘缘堂》，立主抗战到底，在最后胜利之日，定要为无数同胞因暴敌侵略所受的损失，和自己“缘缘堂”的损失，一起向日寇算账。
一九八三年，徐春雷撰了《访重建后的缘缘堂》一文，在这文中，可以窥见一般概况，我摘录些于下：“整个建筑，由三楹高楼和一个小院及后园组成。从东边墙门走进小院，首先跃入眼帘的，是正厅上面叶圣陶手书的“丰子恺故居”，横的匾刻成阴文，石绿填字，显得淡雅悦目。回转身来，才看到墙门上方的‘欣及旧楼’四个大字，这是子恺生前将缘缘堂，与老屋德堂相比之下欣然题写的，现在集了子恺的字仿制复原。小院中栽着子恺喜爱的牵牛花和数株芭蕉。“缘缘堂”三个隶体大字，是马一浮写的，亦仿制而成，那幅吴昌硕所画的红梅中堂，由唐云重绘了。堂的两旁悬挂对联，一是李叔同书“欲为诸法本，心如工画师”。一是子恺自书“暂止飞鸟才数子，频来语燕定新巢”，都是仿制品。其他尚有钱君、曹简楼、谭建成、赵朴初、沈本千、沈定庵、赵冷月、吴长邺、岳石尘、刘雪樵等书画，居然琳琅满目。又有一尊半身铜像，这是广洽法师及弟子陈光别捐资，由子恺弟子曾路夫雕塑的。又前楼作为陈列室，陈列子恺各个时期的照片和他的一些作品与遗物。原来的卧室兼画室，基本照原样布置，靠后壁是一张简易双人垫架床，两侧为书箱书橱，前面窗口放一九抽屉的写字台和一把藤椅。所有的床、台、橱、椅，均为上海日月楼旧居的原物。书桌上放有子恺生前用过的文房四宝及《辞海》等书籍，书橱中陈列有他的出版著作和译作原稿。此外还展出一些他生前用过的烫酒紫铜壶、缘缘堂笺纸、画笺木刻印版、眼管、眼镜、暖炉、手杖等。特别要提的，是那枝陈旧的橘红色的派克钢笔，据一吟（子恺之幼女，一名一宁）介绍，这枝钢笔伴随她的父亲有几十年之久，建造缘缘堂的费用全仰仗它的辛勤耕耘。当举行开幕典礼，被邀参加的人很多，我和一吟是相识的，但她不敢邀我去，因为我年逾九十，她担不起责任，实则我是心向往之的。胡治均归来告诉我一些，并谈及当时缘缘堂被焚，由子恺的叔父加林抢出两扇大门，外面斑斑焦痕，里面尚完好，现在重建的缘缘堂，这大门依旧移用，但翻了一个身，把里面作为外面，留着日寇焚掠的遗迹，以示不忘宿仇。
子恺于二十二岁和徐力民结婚，子女较多，除一吟外，我都不相识，据我所知有陈宝、宛音、华瞻、元草、新枚。有一次，子恺和小儿女在一起，子恺提出一问：“什么事情最好玩？”不知其中哪一位，稚气可掬的回答：“最好玩是逃难，逃难既得乘火车，又得登上大轮船，多么开心。”子恺为之大笑。
子恺的趣事，尚有可谈的。当一九四七年，他在杭州连开两次画展，一次是浙江美术协会举办的，一次是省民众教育馆举办的，专为招待外宾。奈两次画展，子恺的画，每次被偷去一幅，为此，子恺在报上发表“告窃画者”，公开召请窃画人来，愿为补题上款。又一次，他画了三头羊，每头系着一索，由牧羊人牵着走，有人看了对他说：“羊是合群的，所以‘群’字从君从羊为形声字，只消系了一头羊为领先，其他跟随着不须多系。”子恺恍然大悟，弃去重画，这无异名画家戴嵩，画两牛相斗，牛竖着尾巴向前猛冲，甚为得势，但受到牧童的窃笑，诘问他，才知牛斗时，尾搐在两股间，和它兽不同。子恺始叹什么都得体验考察，闭门造车，是不合辙的。他什么都画，家中小儿女的动态也入了他的画幅，如《阿宝赤膊》、《软软新娘子、瞻瞻新官人》、《瞻瞻的脚踏车》、《阿宝两只脚、凳子四只脚》、《花生米不满足》等，都是寥寥数笔，甚至只有一簇头发，连脸的轮廓线也没有，但形象却跃然纸上，真是化工之笔。还有一个挽车工人，忽然附庸风雅，叩门求索子恺一画，子恺竟允其所请，立即伸纸挥毫应付他，且为题上款。另有一故事，这是子恺后人宛音亲自讲给人听的：“子恺为一作静物写生，特地到一家陶瓷店选购一瓶，店伙见他挑来挑去，总是不合适，连忙从架上取下一只金碧辉煌的细瓷花瓶，一再称赞怎样的精美，可是子恺看不上眼，更自行挑选，他偶然在屋角发现了一只瓶子，虽瓷质粗糙，且蒙着灰尘，十分满意，店伙连忙解释说：‘这是江北瓶子，且又漏了，买去没有用。’子恺说：‘漏了不要紧，我就要这个。’说着忙付了钱，携了漏瓶就走，原来这瓶线条自然而流畅，具有一种简朴的美，店伙哪里理解，认为这个顾客是患着神经病的。”又“在二十年代，子恺到农村去，看到田野旁树丛里，几个农妇在操作，各种各样的姿态，引起他的画兴，他立刻掏出速写本，躲在大树后面画了起来。当他画兴正浓的时候，不料被其中一个农妇发觉了，这时风气闭塞，除耕稼外什么都不知道，她立即提醒同伴，接着一群娘子军，赶过来，大兴问罪之师，责问：‘你画我们做什么？准是画了去卖给洋鬼子，叫洋鬼子来捉我们的灵魂。’她们其势汹汹要抢这个画本，弄得子恺有理说不清。正在危急的时候，幸亏本村一位老乡亲来为他解围。”
子恺为了谋生，为了抗战逃难，行踪无定。除了上面所谈的居处外，曾住过上海江湾同安里及安乐里、立达学园的永义里（李叔同自来沪即寓居该处）。又迁居旧法租界雷米坊，又杭州皇亲巷及马寺街、田家园、静江路，又石门湾南深浜，又桐庐宁薰坊，又长沙天鹅塘，又桂林马皇背、泮塘岭，又迁黔北遵义的罗庄、南潭巷，又重庆刘家坟、凯旋路，又厦门古城西路。此后回到上海闸北西宝兴路汉兴里，又迁至南昌路邻园村其弟子钱君所办的万叶书店楼上，又福州路三山会馆西面六百七十一弄七号，乃开明书店章锡琛的旧宅。我曾到那儿作客，蒙子恺书一小册页，惜于浩劫中被掠去，迄今子恺的手迹，片纸无存，为之痛惜。后又迁陕西南路，直至终老。
子恺相熟的人，都一时名流，如叶恭绰、叶圣陶、吴梦非、梅兰芳、郑振铎、陈之佛、郎静山、欧阳予倩、梅迪生、竺可桢、胡刚复、柯灵、宋云彬、胡愈之、巴金、王西彦、张梓生、郁达夫、田汉、舒舍予、朱自清、鲁迅、谢冰心、陈望道、周予同、徐调孚、沈雁冰、邵洛羊、朱光潜、关良、姜丹书、刘海粟、舒新城、内山完造等，结苔岑之契，联缟之欢。
李叔同有两位大弟子，一刘质平，一丰子恺。我曾看到一帧照片，是一九一八年，叔同将入山修梵前摄的。叔同高坐在中间，刘质平盘膝坐在地上，子恺亦盘膝坐于右面。大家认为刘质平传授了叔同的音乐，的确质平的音乐造诣很高，他的哲嗣雪阳，也是个音乐家。丰子恺传受了叔同的佛学，实则子恺兼两者而有之，擅奏钢琴和提琴，编了《音乐入门》、《孩子们的音乐》、《近世十大音乐家》、《世界大音乐家及名曲》、《西洋音乐楔子》、《音乐的常识》、《近代乐圣的生涯和艺术》、《开明音乐讲义》，且在春晖中学教授音乐课，没有修养，哪有这许多成绩，真可谓多才多艺了。
世有“须眉男子”之称，可见须是男子的特征。最近看到报载：“美国的长须者，他的一对八字胡须，长达一百八十五厘米，这人名米勒，年五十三岁，为加州的货车司机，十一年前开始蓄须”，且附有照片，这是多么怪异啊！又传说翁同为光绪帝的训蒙师，翁长须飘拂，光绪常爬上翁的怀抱，拈着师傅的须儿，这又是多么有趣啊！因此我就想到几位名书画家，颇多蓄须，如曾农髯、张大千、黄蔼农、汤定之、吴待秋、朱大可等，子恺也是其中之一，他居母丧，即开始留须。有一位潘文彦，写了一篇《丰子恺先生的胡须》，其中有那么一段话：“十年动乱之初，先生（指子恺）的胡须也遭了殃。记得那天上灯时分，我刚端起晚饭碗，消息传来：‘丰子恺自杀了！’在恶梦般的黑暗年月里什么意想不到的事情都可能随时发生，我立即放下饭碗，急急赶到日月楼去，踏上最后几级楼梯时，我的心怦怦直跳，真有说不出的紧张。及至推进门去，见到他老人家正在浅斟细酌，方知是讹传。那时，首先映入我眼帘的，是先生慈祥的胡须短了一截，不用说我也完全明白，已经发生过什么样的事儿了。我当时已呆住着，不知道该用什么话去安慰他。先生见我惊讶，反而满不在乎地说：‘这有什么要紧。野火烧不尽，春风吹又生’，他借了白乐天的两句诗自慰慰人，于是相顾而笑。”究属子恺的须，是怎样短了一截的，该文似匣剑帷灯，不够清楚明白。据我所知，那天为了发现两幅子恺测验儿童智慧的画，一张题着“东方有个红太阳，西方有个绿太阳”，一张题着“我抱爸爸去买糖”，批斗子恺，说他“颠倒是非，故意讽刺当道的领袖”。这时子恺正患着感冒，打了一个喷嚏，又指他“破坏严肃空气”，立即出剪，剪截长须，藉以惩戒，恶作剧如此，抑何可憎可恨，又复可笑啊！
闽诗人陈兼于，和我同隶上海文史馆。我在他那里看到一首有关丰子恺先生的七律诗，并附有识语，亦极有意致，录之以殿我文。其标题云：“秋夜读丰子恺先生《我与弘一法师》一文，顷为法师百年祭之辰，丰翁亦下世数年矣，书此志感”：
浙山闽水底处寻，百年精气郁萧森。
艺臻物我相忘境，学有天人一贯心。
寺塔长空圆日影，海潮终古振雷音。
丰翁妙语层楼喻，把臂真看共入林。
附识：“子恺先生以人生比作一个三层楼，一是物质生活，二是艺术生活，三是灵魂生活。法师之出家，由于不满足于艺术生活，登上三楼，一探宇宙之真相、人生之究竟。宗教为高度艺术之境界，故其为僧，出于生活之要求，无足为异云。”