逃出碾庄圩后，黄百韬率少数随从逃到六十四军军部。六十四军军长名叫刘镇湘，军衔中将，军部设在一个叫大院上的小村子里。该军和六十三军同属粤系，都是“老广”，和黄百韬较为亲近。
黄百韬和刘镇湘见面后，神情沮丧，脸色蜡黄，坐了很久没有说话。吃了午饭以后，他对刘镇湘说“：我年纪老了，而且多病，做俘虏我也走不动，而且太难为情。我‘牺牲’以后，别人还知道有忠心耿耿的国民党人，或可使那些醉生梦死的人醒悟过来，国民党或许还有希望。你年纪还轻，希望你能突出重围，再为党国作点事。”
这一年黄百韬已49岁，刘镇湘比黄小7岁，尚属42岁的壮年。他对黄百韬说了一些安慰的话，并表示，自己也决不当共军的俘虏，死也要和黄百韬死在一起，共同为“党国”尽忠。随后，他还打开皮箱，把中将大礼服穿了起来，挂上勋章，穿上皮靴，对黄百韬和副军长韦德、参谋长黄觉说：“我们要准备成仁，为党国和总统尽忠。”
然而，蝼蚁尚且惜命。22日下午，黄百韬、刘镇湘等又逃到了六十四军一五六师指挥所驻地吴庄。
第二十五军中将军长陈士章、少将副军长杨廷宴等人也逃到了吴庄。黄百韬一听“吴庄”这个村名，就长叹说：“此吴庄，乃吾葬身之地也！”因“吴庄”与“吾葬”系谐音，黄百韬颇有点迷信。他曾极其悲伤地对杨廷宴说：“这场大战，我有3个不解：（1）我为什么那么傻，要在新安镇等待四十四军两天；（2）我在新安镇等了两天之久，为什么不知道在运河上架设浮桥；（3）李弥兵团既然以后要向东进攻来救援我，为什么当初不在曹八集附近掩护我西撤？”
说罢，黄百韬不住地摇头长叹，说：“不是天灭蒋（介石），而是蒋自灭呀！”
22日下午4点左右，解放军对吴庄发动猛烈进攻。激战至黄昏，全歼吴庄守敌，生俘六十四军少将副军长韦德和参谋长黄觉。
此时，黄百韬、刘镇湘、陈士章、杨廷宴等人在哪里呢？几天后，杜聿明接见了从吴庄逃回徐州的第二十五军少将副军长杨廷宴。杜聿明问：“你知道黄（百韬）司令官的下落吗？”
杨廷宴说：“22日那天晚上，天漆黑漆黑，黄司令官和陈士章、刘镇湘两位军长见情势危急，就各带一部分人突围。刘镇湘佩上勋章，向敌人冲锋，战死了。陈士章不知下落。黄司令官和我两人突出后，走到一茅棚附近，见四面都有共军包围，无法再走，黄司令官即举枪自杀，但并未断气，我又加了一枪。黄死后，我正在哭，共军来盘问我，我说：我是伙夫，死了的是伙夫头，是我哥哥。当时我俩都化装成士兵，共军没有追究。我将黄司令官掩埋后，钻空子跑了回来。”
当时，杜聿明听杨廷宴说得非常生动真实，对黄百韬、刘镇湘为“党国”尽忠，感到十分敬佩。想不到过了7年后，杜聿明在北京功德林战犯管理所突然见到了刘镇湘和陈士章，一问，原来他俩和黄百韬从吴庄突围后，都没有死。刘镇湘是当天晚上被俘的。陈士章则化装逃回了南京，蒋介石又任命他为新组建的第二十五军军长，部队开到福建布防，想不到又被解放军所俘。
杜聿明不禁对7年前杨廷宴“生动真实”的汇报心生疑窦。杨说刘镇湘死了，陈士章不知下落，而现在刘、陈都活得好好的，那么黄百韬是否真的“自戕”了呢？……再说碾庄圩国民党军七兵团兵团部被攻占后，新华社华东总分社社长康矛召亲笔写了一张条子，派侦察员飞马送给随军采访的记者黎明，要他“迅速查清黄百韬的下落”。战争年代，对国民党高级将领，战后都要求“活要见人，死要见尸”。可是黄百韬既未见其人，又未见其尸，他的下落究竟如何呢？黎明带着两名侦察员，花了一夜的工夫，查遍了黄百韬最后住过的大院上、吴庄等村子的所有部队及国民党军俘虏，寻遍了所有的工事和残存的房屋，仍未查到黄百韬的踪迹。后来，黎明听人说，黄百韬逃到小黄庄东北的旷野里，撕碎了蒋介石最后空投给他的亲笔信后，开枪自杀了。但黎明并未找到佐证，只是听说而已。1987年出版的、由军事科学院军事历史研究部编著的《中国人民解放军战史》第三卷（全国解放战争时期）一书中说：“……黄百韬逃至大院上，继续指挥残部作垂死挣扎。我军组织连续突击，至22日黄昏歼灭残敌，击毙黄百韬。”
1996年由解放军出版社出版的《中国人民解放军第三野战军战史》上说：“……20日晨攻占碾庄圩，聚歼兵团部和敌大部，黄百韬逃至大院上第六十四军军部继续顽抗。21日晚，再度对六十四军所驻大、小院上发起攻击。至22日，全歼守敌，黄百韬毙命。”
据说，杨廷宴逃回南京后，将黄百韬死讯报告了国防部，并告知了黄百韬的家属。他们即派人按杨廷宴所说地点，将黄百韬遗体挖出后运回南京。蒋介石下令为黄百韬举行隆重的安葬仪式，追赠黄为陆军上将，授予他“青天白日勋章”，以表彰黄对“党国”的一片忠心。
那么，当年黄百韬究竟是被击毙，还是自杀？是逃跑途中跑不动了不愿当俘虏而自杀，还是负了伤自知活不成了而自杀？是为“党国”尽忠而自杀，还是撕碎了蒋介石的亲笔信、满怀着对蒋的怨恨而自杀？如果是被击毙，具体细节又是如何呢？……看来，黄百韬的死因尚是一个未解之谜……60多年后的今天，在碾庄圩附近尤家湖西北旷野上，竖着一块石碑，上书“中国人民解放军击中黄百韬遗址”，并有文字说明。而在南京的蒋王庙明朝岐阳王李文忠墓的后面，筑有一座“黄焕然之墓”，旁边还树牌写有黄百韬的生平简介。黄百韬的遗体于1949年1月17日运抵南京。国民党《中央日报》于1月20日刊登了《首都各界“追悼”
黄故司令官百韬将军暨“戡乱殉国”将士大会公告》：定于21日、22日、23日在中国殡仪馆公祭3天。然而，国民党政权已处于风雨飘摇之中，人民解放军百万雄师已推进至长江北岸，南京风声鹤唳。蒋介石于1月21日宣告“引退”，下午4时匆匆飞离南京。许多军政大员自顾不暇。
李宗仁出任代总统，忙于与中共开展和谈。在此背景下，国民党当局哪里还顾得上黄百韬的“后事”，不仅“公祭”草草收场，“国葬”云云也就不了了之。