11月6日，国民党刘峙集团按照徐州作战会议确定的收缩计划开始行动，向徐州、蚌埠间津浦路两侧收缩兵力。由于第九绥靖区海上撤退船只困难，徐州“剿总”决定将第四十四军改沿陇海路西撤，归黄百韬指挥，并令黄百韬在新安镇地区等候第四十四军到达后，一起撤过运河，向徐州靠拢。由于黄百韬受第四十四军的影响，在新安镇迟了两天才开始撤退，因而失去逃脱的时机，为解放军包围该敌赢得宝贵的时光。
得悉敌人上述动向后，6日，粟裕、陈士榘、张震、钟期光、刘瑞龙致电中共中央军委，指出：新海敌四十四军有撤退至新安镇并归黄百韬兵团指挥的消息。为打开战场便于主力开进，今晚即以鲁纵围歼郯城之敌后，六纵围歼码头镇之敌，七纵围歼峄县、枣庄之敌，十纵包围临城，三纵、广纵及冀鲁豫独立旅向丰县、砀山前进，以求扫清外围。淮海战役提前从本日开始。
当晚，华东、中原野战军按既定作战部署，发起淮海战役，向徐州东、西两面的国民党军进逼。
华东野战军主力从临沂、梁丘、滕县等地向陇海路东段疾进，突击集团直扑新安镇、阿湖地区的黄百韬兵团。第六纵队首先歼灭码头镇之敌。鲁中南纵队包围郯城，并于7日歼灭守敌山东省保安旅王洪九部。第四、八纵队占领邳县、滩上一线，先头部队向陇海线运河桥挺进，山东兵团第七、十、十三纵队在华东野战军副政治委员兼山东兵团政治委员谭震林、兵团副司令员王建安指挥下，从临城、枣庄线向韩庄、万年闸、台儿庄运河线急进，从东和东北方向进逼徐州。
华东野战军第三纵队、两广纵队和冀鲁豫军区两个独立旅由陈毅、邓小平统一指挥，从鲁西南单县一带向徐州以西砀山进逼。各部按作战部署，紧逼徐州，为合围黄百韬兵团创造了条件。
7日，收到淮海战役提前打响的消息后，中央军委即刻回电，表示完全同意粟裕等6日电所述发起战役的部署，并指出：“非有特别重大变化，不要改变计划，愈坚决愈能胜利。在此方针下，由你们机断专行，不要事事请示，但将战况及意见每日或每两日或每三日报告一次。”
还指出：“第一仗估计需要10天左右时间，力争歼灭黄百韬10个师（包括四十四军），李弥一个至两个师，冯治安4个师（包括可能起义者在内），刘汝明6个师（包括可能起义者在内），以上共计21个至22个师。如能达成此项任务，整个形势即将改变，你们及陈、邓即有可能向徐蚌线迫进，那时蒋介石可能将徐州及其附近的兵力撤至蚌埠以南。如果敌人不撤，我们即可打第二仗，歼灭黄维、孙元良，使徐州之敌完全孤立起来。”
战事展开后，中原野战军主力由陇海路商（丘）、砀（山）线南侧地区向东挺进，从西南方直逼徐州。其第一纵队在华东野战军第三纵队和中原野战军第三纵队各一部的配合下，7日晚，在商丘以东张公店地区歼灭正向蚌埠收缩的敌第四绥靖区刘汝明部的后尾五十五军之第一八一师。
由于解放军出其不意的猛烈攻击，使刘峙惊慌失措，错误地判断解放军意在攻取徐州，连连向蒋介石告急，并决定将徐州以东在曹八集地区的李弥兵团和徐州以西砀山地区的邱清泉兵团赶紧向他靠拢，又命令已进至蒙城的孙元良兵团折返徐州，加强徐州防御。
7日，黄百韬兵团在第四十四军到达新安镇后，兵团部和前卫第六十四、四十四军通过运河铁桥。由于只有一座铁路桥，不能迅速过河，第二十五、第一○○军撤至运河车站、炮车、官湖地区，担任侧翼掩护的第六十三军先头部队到达窑湾。不久六十三军全部进驻窑湾。
华野很快侦知敌人动向，决定首先歼灭窑湾之敌。
11月9日，华野参谋长陈士榘面示一纵副司令员兼参谋长张翼翔：“敌六十三军已于昨日下午2时撤离新安镇，企图经窑湾渡运河西逃，在其逃经堰头时，已被九纵歼灭了一个团，你们纵队应立即向窑湾方向开进，首先追歼该敌，尔后协同友邻，直捣黄百韬司令部。”
这个任务传达到部队后，干部战士斗志昂扬，决心将敌六十三军干净、彻底地歼灭在窑湾镇。
经过近百里的追击，终于当日傍晚将敌六十三军紧紧地包围于窑湾地区。
窑湾镇，西临运河，北靠沂河，位于两河汇合之处，南、西、北三面被运河环抱，东面有条3至4米高的围墙，墙外有断续外壕和水塘相连。镇四周地形开阔，多小村落。镇内居民3000余户，素有苏北“小上海”之称。早在抗日战争时期，日、伪军先后在这里筑有防御工事。
敌第六十三军逃至窑湾后，眼见无法渡河西逃，遂决定固守待援，不分昼夜加修工事，并控制了周围3公里的大小村庄，仓促布防：以第一五二师两个团防守大东门和南门，并以南门为重点，以第186师两个团防守小东门和北门，以第一八六师另一个团位于天主教堂军指挥所，作为预备队。
该敌原系广东余汉谋的部队，战前从南京、芜湖一带调到淮海战场。军长陈章是10月初由第六十二军副军长调升的。对此，黄百韬曾忧心忡忡地说：“战前换将，兵家所忌。”第六十三军大多数官兵是广东人，初到苏北、鲁南，水土不服，士气低落，仓皇逃到窑湾后，绝粮断炊，饥寒交迫，军心更加动摇。
一纵根据窑湾的地形特点和敌人仓促布防、立足未稳、工事不坚、士气低落、军心动摇的情况，决心不予敌以喘息机会，采取急促勇猛的战斗行动发起攻击，打敌措手不及。
为此，纵队在行进间即令第一、二、三师，分别由东、北、东南三面包围压缩敌人，首先肃清外围。同时作好不经调整部署，即可转入总攻的一切准备，务于12日前全歼窑湾之敌。
粟裕代司令员听了张翼翔对战斗的部署报告之后，当即在电话中询问：“你们一个纵队消灭敌人一个军，有把握吗？”
“有！”张翼翔坚定地作了回答。
10日拂晓，各师按纵队的部署，采取击破一点，大胆猛插，直捣纵深的战术手段，同时向窑湾外围发起攻击。
第一师师长廖政国、政委曾如清率领全师在战斗中边打边侦察。当夜肃清了镇东外围之敌。
与此同时，第三师师长陈挺、政委邱相田率领该师主力，全部扫清了镇东南外围之敌。
第二师师长程业棠、政委张文碧指挥所部奋战至10日晚，控制了镇东北外围。
是日夜，纵队侦察营亦渡过运河，占领韩湾、小集一线阵地，切断了敌人的西逃退路。
至此，窑湾外围大部为我控制。为迅速全歼龟缩在窑湾镇的敌第六十三军。11月10日上午，纵队经过深入研究，并报请野战军首长批准，决定以第一师担任主攻，配属105榴弹炮6门和山炮5门，首先由小东门或大东门突破，歼灭该镇中部之敌，继而向两侧和纵深发展，与第二、第三师打通联系，以第二师配属炮和山炮各3门，由北门突破，歼灭该镇北部及西部之敌，打通与第一师的联系；以第三师配属山炮6门，由南门及南门和大东门之间突破，歼灭该镇南部之敌。
11月11日下午4时30分，我军按预定计划，集中炮火向敌人主阵地和军指挥所猛烈轰击。顿时，镇内硝烟弥漫，到处起火。担任主攻的第一师先头部队第二团第二连，趁敌火力点被我压制之机，迅速勇猛地连续炸开两通鹿砦和围墙，一举突入小东门，并在半小时内打退了敌人3次反击，巩固和扩大了突破口，为全师打开了进攻通路。
第二团乘胜在1小时内全部进入突破口，并分路向纵深和两侧发展。
随后，第一、第三团也相继投入战斗，向敌发起攻击。
与此同时，从南门和北门发起进攻的第二、第三师，也与敌人展开了激烈的争夺，但因地形不利，敌人顽抗，几次突击均未奏效，纵队鉴于第一师进攻发展顺利，即令第二师第六团改由小东门突入镇内，直插北门，策应第四团。
21时，在第六团配合下，第四团突破北门，并倾全力向南进攻。这时，第三师主力在第一师策应下，也突破了大东门，并乘胜向西发展。但是，敌第六十三军老兵多，加上不了解我军的俘虏政策，仍负隅顽抗，妄图固守待援。
一纵经过调整部署，以更加迅猛的动作向敌纵深实施突击，扩大战果。
第一师指战员在廖师长、曾政委的灵活指挥下，充分利用随伴火炮和炸药的威力，与敌展开了反复冲杀。该师第二团第五连与敌人激战中，伤亡很大，只剩下20个人，仍然顽强地战斗着。他们高呼“冲进指挥所，活捉敌军长”的口号，一直冲杀到敌军部，并机智地利用俘虏喊话，宣传政策，一次俘敌200余人。
在华野发起窑湾攻击战斗时，敌刘峙集团以3架飞机数次向第六十三军阵地空投粮食和弹药，促使该敌作绝望挣扎，以延缓其覆灭的命运。一纵指战员以秋风扫落叶之势，从东、南、北3个方向席卷窑湾镇，逼使残敌纷纷投降。敌军长陈章见大势已去，待援无望，慌忙带领卫兵向运河方向逃窜，企图泅水潜逃。可是，刚逃到河边，就被我截击部队击毙。
12日拂晓，窑湾战斗胜利结束。一纵共歼敌第六十三军两个师5个团1.3万余人。
就在窑湾战斗开展的同时，华东野战军各纵队展开猛攻，于11日将黄百韬兵团4个军合围、压缩在以碾庄圩为中心的纵横10余公里的地区内。