翁文灏在“暂行试任”半年的行政院长期间，目睹了国民党官场的黑暗和派系之争，觉得自己在此很难有所作为，同时他看到国民党大势已去，决定辞去行政院长的职务。1948年11月，孙中山之子孙科（1891—1973）接任翁文灏的职务。
1948年，解放战争紧张激烈，解放军连连取胜。国民党首府——南京正兵临城下，解放南京，指日可待。鉴于此，翁文灏把家眷送去台湾，而独自一人留在南京，既孤单又懊悔：悔自己当初不该从政，不该上蒋介石的贼船，为蒋家王朝卖命。他暗自下决心脱离蒋政权，但由于被新华社列为国民党战犯，也不敢留在大陆。在去向不定的时候，一天，他的助手孙越崎来到他面前，对他说：
“留在大陆吧！”
翁文灏指着放在桌上的《新华日报》上载的战犯名单说：
“你们可以留，我只有去台湾。”
1949年2月，李宗仁代总统府秘书长吴忠信辞职，李宗仁拟请翁文灏继任这个职务，就派孙越崎去征求翁文灏的意见。孙越崎说：
“现在李宗仁主和，你去做个主和的总统府秘书长，表明你的主张和政策，是个认错改悔的表现，将来也可以留在大陆。”
翁沉默不语。孙越崎回复李宗仁：如能亲自去一趟，翁会同意的。后来李宗仁亲自去他家面谈，翁同意了。1949年2月，由代总统李宗仁任命为总统府秘书长。
1949年4月22日，南京解放的前一天，翁文灏经上海去了台湾，接着又从台湾经由香港回到广州，向李宗仁辞去秘书长职务。再回到香港，住了一个多月，他每天都在考虑去向问题，回大陆还是去台湾？回大陆，怕共产党不能原谅他；去台湾，又不愿为蒋介石卖命。况且他的出生地在大陆。古人云：“树高千丈，落叶归根。无论是亲朋好友，还是同事故旧，无一不在大陆。翁文灏心里一直处于十分矛盾的状态之中。”
实际上，回国定居的愿望在翁文灏心里是根深蒂固的。一天，他对孙越崎说：
“我回国的问题，非得到毛泽东（1893—1976）主席同意才能解决，但这就太难了。”
孙越崎劝说道：“只要你有回国的决心，也不一定没有希望。邵力子在北平，可以请他帮忙。”
在上海解放的第三天，陈毅（1901—1972）市长到资源大楼接见资源委员会留在上海的主要负责人时，曾问起翁文灏先生现在在哪里？有人告诉他在香港。陈毅市长就说：
“他是书生，他留在国内，我们也不会为难他，请他回来嘛。”
翁文灏有4男4女，除次子心翰在对日空战中殉国外，3个儿子都在大陆，一个女儿在美国，3个在台湾，父亲和妻子当时也在台湾。孙越崎劝他快把父亲和妻子从台湾接来香港，迟了则怕出不来，即使将来回不了大陆，住香港也比住台湾好。翁文灏认为有理，接着他去台湾亲自把父亲和妻子接到了香港，并写信给在上海中国石油公司工作的大儿子翁心源到香港接祖父和母亲回沪，而他自己仍住在香港。
孙越崎给在北京的邵力子写信说：“翁文灏也想回国，请予帮忙。”
邵力子回信：“我愿意大力帮助，但要翁先写一份后悔而想回国的信，以便进言。”
孙于1949年11月4日离港转青岛到北京，带了翁的信交给邵力子，邵力子看后认为后悔不够深刻，不便送上去，要孙越崎寄回改写。
台湾省长陈诚（1898—1965）得知翁文灏仍滞留在香港后，便派人接翁去台湾。翁回绝了陈诚的好意，又拒绝了美国的邀请，但又怕遭国民党暗杀，因此临时决定飞巴黎避难。
很明显，台湾和美国都在拉拢翁文灏，而且人在法国，怕夜长梦多。孙越崎和邵力子商量，还是把原信先送周恩来总理，虽然内容不够好，但是已表示他认识错误，有返回祖国的愿望。周总理见信后当即表示：爱国不分先后，欢迎翁先生回国。关于战犯问题，总理说这是新华社发的消息，不是党和政府正式宣布的，可请他放心，党和人民是不会为难他的。
当翁文灏听到批准回国的消息后，也就是1951年2月，他心里异常兴奋，连忙收拾好自己的行李，登机直赴香港，坐船到广州，乘火车最后抵达北京。
公元1951年3月7日，北京的风仍是冷飕飕的。在北京火车站，望着前来迎接的长子心源夫妇及以前的助手孙越崎，翁文灏久久不能说出话来。还说什么呢，此时“无声胜有声”，能有今天一见，翁文灏已经心满意足了。没有毛主席、周总理及政府的信任，曾任国民党行政院院长的我能回来吗？更不用说能在此时此刻见到自己的亲人和朋友。翁文灏此时眼里已噙满了泪花，是激动、是兴奋、是感谢……抑或都有吧，连翁文灏自己也说不清楚。
回国后，翁文灏鉴于自己以前未能坚持正确的政治观点，决心努力学习毛泽东著作及其他马列著作，并草拟了“我所看到的蒋政府投美卖国的情况”、“反省以往的错误，回到人民中间”等文。这两篇文章后经邵力子、孙越崎、钱昌照等反复审阅，多次加工修改，并将文题“错误”二字改成“罪过”，最后呈交给周总理审阅。
翁文灏是一个闲不住的人，尽管他在回国初期并没有什么具体工作可做，但他还是积极阅读了中国历史，写下了340多万字的心得体会。其中他以渊博的地质知识和考古学知识所写的史前史与上古史，尤其富有科学价值。另一方面他还一直要求恢复科研工作，并托人向中央请示，他曾在《回溯吟》中写道：
枉历六旬虚用力，尚须多日苦收成。
愿以社会前途想，细绎史篇判浊清。
党中央从全局考虑，认为翁文灏更适宜在统战界工作，在对台宣传等方面发挥作用。这样，在1954年12月，翁文灏成了中国人民政治协商会议第二届全国委员会委员。1956年，他又当选为中国国民党革命委员中央常委。在党的领导下，他为人民民主统一战线事业做了大量工作，取得了很多成绩。
翁文灏曾在地质出版社担任了4年的特约编辑。此时，虽然他年事已高，但仍坚持超负荷工作，每天工作有时达11小时，并且克服了资料缺乏的困难，凭借自己深厚的基本功，做了很多翻译引进工作。其中他译的美国施罗克所著《层状岩石的层序》一书，厚达500页，行文流畅，不减当年，关于石油的翻译书籍有罗马尼亚G·马柯威著的《石油矿床学》（上、下册），还有若干论文，如卫利契的《用陆棚原理说明石油的成因》、迪凯的《产油地区的岩相控制》、巴塞的《浊流沉积和石油勘探》以及《欧洲中部侏罗纪含油的可能性和法国的产油问题》。所有这些译作，对我国新中国成立初期的石油普查勘探有很大的参考价值。
1959年以后，由于年事已高，他对地质方面的科研翻译工作已是心有余而力不足，但他还是积极关心祖国的每一项经济建设和每一项科技成果，对每项巨大成就他都会感到欢欣鼓舞，仿佛自身经历过一样。1964年参观大庆油田后，他赋诗道：
玉门草创廿年前，新行于今猛著鞭。
自惭雅轮应急用，欣看大辂掣机先。
油田宽广蕴藏厚，人力辉煌发展坚。
四年之中兴大业，光芒万丈信空前。
1970年，我国第一颗人造卫星上天，他为此写下了感人的诗篇：
旧事烟尘如水，幸新容焕发，奋起神州。
奈潜江骤病，中道弃勋优。
剩高年，眼花手弱；废残龄，祖国骅骝。
最欢歌，卫星雄放，赞赏环球。
这首诗是翁文灏生前留下的最后一首诗。
1971年1月27日，一代地质大师，中国地质学的奠基人和创始人——翁文灏在北京溘然长逝，终年82岁。
他在生前曾留遗书：“我死后火化，骨灰还于大地，不要保存，不要开追悼会。”并在病逝遗嘱中说明，将自己一生的积蓄全部捐献给国家，对祖国早日完成统一大业寄予了无限的希望。
纵观翁先生的一生，他以一著名的地质学家，在国内外学术界享有盛誉，后因抗战爱国之心而半途从政，为国民党蒋政权效劳共13年。他在抗战期间做了不少有利于抗战的经济建设方面的贡献，特别是重视我国石油的开发。但后来又受蒋介石的利用做了错事，这是不能为贤者讳的。正如他自己所说：“我先治自然科学，后来参加蒋政权，我自心的志愿却是想超然于政党之外，而始终没有争取正确的政治观点，以致环境之支配误入歧途，不能自拔”。这是一个深刻的历史教训。所幸他后来迷途知返，认识错误，回归祖国，投向人民的怀抱，最终为祖国作出了一定贡献，从而受到人们的称道。无论是现在，还是将来，我们都不会忘记这位地质大师——翁文灏先生！
丁文江