1942年孤寂的早春，端木蕻良在日本人的炮火底下匆匆埋葬了妻子，然后便真正感到无家可归了。他踟蹰着回到香港大学马鉴明(马鉴)为他准备的房子里，首先给鲁迅夫人许广平发了一封简短的噩耗。在这封简短的噩耗里，他请求许广平能够托日本文化人内山完造先生出面帮助保护萧红的墓地，他以为萧红终生崇拜的鲁迅先生的夫人一定会为她做这件事的。可是，也许是由于在战乱之中的许广平感到自身难保，也许是还有其他因素的顾忌，许广平既没有向内山转达此意，也没有给端木蕻良回信。只是在三四年以后，许广平在一篇回忆萧红的文章里提到了此事，似乎是自责了一番。
但是在当时，端木蕻良发出了那封请求信以后，便好像放心了许多。只是由于战争动乱，也由于情感崩溃，端木蕻良已经无法再在香港居留了。端木蕻良便在于毅夫的帮助下，于1942年2月，乘坐日本“白银丸”号客轮离开了香港前往广州，同船的还有骆宾基和另一位友人。那时候，日军已经控制了广州湾，他们就只好绕道，先在澳门上岸。下船的时候，端木蕻良发现他的一只小箱子被压在所有行李的最下面，那位友人帮忙设法拔了出来，并由他顺便携带。但是由于在码头上人挤人，前呼后拥，十分忙乱，端木蕻良便和这位友人被挤散了。第二天，端木蕻良设法找到了这位友人的住处，这位友人立刻把箱子还给了端木蕻良，同时又告诉端木蕻良，当时他看到码头上检查很严，有些害怕，便偷偷把箱子里的一叠手稿抽出来临时销毁。殊不知，这叠手稿就是端木蕻良冒着性命危险，穿过日本人的炮火，从九龙抢回来的萧红的手稿《马伯乐》。几十年以后，端木蕻良讲到这件事时还十分懊恼。他说：“尽管我知道我应该原谅这位友人的这一举动，那种兵荒马乱的时候，谁也不能预料会发生什么事情，但是在感情上我一直无法接受这一事实。为此我和这位友人再也没有往来，虽然后来我们同住在北京。”
端木蕻良到了澳门以后，就在木刻家黄新波家里暂住。这一期间，他见到田聪、高剑父、戴南冠等等。又在玉溪门，和骆宾基一同取道西江，乘坐单车，也就是坐在自行车的后架上，途经肇庆、坪石等地，一直到3月才由王坪接至桂林。初到桂林时，他和骆宾基暂住孙陵的书店。据孙陵后来回忆：他那时在市区的榕荫路租了两间房子，用来招待朋友，自己则住在乡下，进城时便来和大家谈天说笑。经骆宾基介绍，端木蕻良认识了孙陵，并随骆宾基一起暂住榕荫路。在这里住了约有两个月的时间。有一天，突然为了极小的事故，端木蕻良和骆宾基发生争吵，骆宾基甚至吵吵闹闹嚷着：“非揍他(指端木)不可”，还讲“萧红就是给他气死的”，并告诉孙陵：“萧红遗嘱将《生死场》的版权送给萧军，《呼兰河传》的送给骆宾基，《商市街》的送给弟弟，什么也没有留给端木蕻良……”云云。
而端木蕻良对此事的解释是这样的，他说：萧红为了感谢骆宾基在医院里陪伴她，曾经和他商量要付一部分报酬给骆宾基，作为感谢。因为如果不是端木蕻良请求骆宾基在萧红住院期间留在香港，帮助陪伴和照顾萧红，骆宾基是没有必要在战乱时期，滞留在香港担惊受怕的。一开始萧红是想把《生死场》的版税送给骆宾基，但是仔细一算发现《生死场》的版税大概没有多少了，因为当时的出版合同是十年限期，《生死场》出版得比较早，所以版税也已经支付得差不多了。因此萧红才想到把《呼兰河传》的版税送给骆宾基，而不是版权。
关于端木蕻良和骆宾基争论的风波，加上以前和萧军之间的纠葛，种种传闻及舆论似乎都对端木蕻良不利。这其中原因种种，但笔者认为有一点是主要的，即长期以来，端木蕻良总是有些与众不同，使得大多数人不能接受他的举动。无论是那些穿军装的还是那些穿长衫甚至穿西装的，都不那么愿意接受这个性格独特的穿马裤皮靴的端木蕻良。穿军装的革命家们不能接受他这个“懒散的资产阶级”分子，而穿长衫的“传统文人”甚至西装革履的“资产阶级”知识分子又不能接受他的“左倾”思想和激进行为。而偏偏这一个与众不同的端木蕻良被才华斐然的女作家萧红选中，实在是有些让人气不过。于是大家群起而攻之，大有把萧红的“寂寞”和早逝的罪过，统统归结到端木蕻良身上的趋势。面对众多的指责和排斥，孤孤零零的端木蕻良就是浑身上下都是嘴，也解释不清了，只有缄然和沉默。
一直到几十年以后，秦牧才比较中立地出来讲话。他说：关于“端木和萧红的婚姻，外界曾经有过一些传闻，我个人相信他们两位的思想、感情有很契合的一面，但在生活习气上也有不大调和的地方。端木生于那么一个家庭，感情很细腻，萧红却是抽烟喝酒，带有流浪者烙印的比较奔放的妇女，如果说一切方面都很一致，又未免讲得理想一点。但如果说没有共同基础，只是一种轻率的结合，却又讲得过分了。端木曾经告诉过我，他们未曾结婚的时候，对萧红表示好感的作家有好几个。萧红有一次买了一件用品(好像是手杖吧)回来，大家都争着要。萧红告诉大家，要把这件东西藏起来，让大家去找，谁找到就归谁。一面，又悄悄告诉端木藏物之处。结果，当然就给端木‘找’到了。从这么一件小故事，足可以见到萧红很早就对他有真挚感情。”
端木蕻良和萧红在香港时期的老朋友周鲸文在1977年谈到他们两人的感情时也说：“两人的感情基本不虚假。端木文人气质，身体又弱，小时是母亲最小的儿子，养成了‘娇’的习性，先天有懦弱的成分。而萧红小时候没有得到母爱，很年轻就跑出了家，她是具有坚强的性格，而处处又需求支持和爱。这两性格凑在一起，都在有所需求，而彼此在动荡的时代，都得不到对方给予的满足。”
方蒙则解释：“萧红倔强的性格，反抗的精神，使她的生活道路，创作风格和处理事物的态度，都有独立的思考和判断。而且一旦认定，决不改变。但萧红毕竟是女性，这时精神上、情绪上需要温存、安慰和怜爱。萧红这种心态，端木却不能理解，更不能使她满意，悲剧由此而生。端木蕻良是在优裕的环境中出生成长的。他是家庭中的幼子，小时体弱，母亲和两个哥哥对他溺爱迁就，娇生惯养。从小时候读书到上清华大学，步步如意，一帆风顺……。端木易暴躁，有时又细致、柔和，倘一旦与他意见相左，或他不能接受时，三言两语不合，一碰就炸，拂袖而去。内向、孤傲、不善表白，与友人相处常易引起误解。”另外，在桂林时期和端木蕻良有过一段密切交往的音乐家马思聪后来在1975年给夏志清先生的信中也说：和端木蕻良认识以后，“我想端木的为人并不是一个存心不厚道的人”。
不过秦牧、周鲸文、方蒙、马思聪这些比较心平气和的评论都是后话，而在当时，端木蕻良只好惹不起还是躲得起，他立刻请孙陵书店一位叫秦黛的编辑帮助他寻找新的住处。