淮海战役是在以徐州为中心，东起海州、西至商丘、北起临城（今薛城）、南达淮河的广大地区进行的。参加这一战役的有华东、中原两支野战军和两军区及晋冀鲁豫军区的地方部队共约60万人。济南战役后，国民党军在徐州周围地区大量集结兵力，企图利用在徐州交会的津浦、陇海两铁路及公路线密集，利于机动增援的方便，用重兵堵防的办法阻止解放军南下，以控制徐州，巩固江淮，屏障南京，挽回败局。
在徐州“剿总”总司令刘峙、副总司令杜聿明（杜从东北逃回关内后，11月被任命为徐州“剿总”副总司令兼前进指挥部主任）指挥下的黄百韬、邱清泉、李弥、孙元良4个兵团，和冯治安、李延年、刘汝明3个绥靖区部队，连同从华中赶来增援的黄维兵团等，总计兵力近80万人。其中大多数是国民党军的主力和精锐部队。
华东野战军在打济南时，曾部署强大的打援兵力于徐州、济宁之间，准备阻击并歼灭徐州援济南之敌。与此同时，中原野战军在平汉路南段、桐柏山地区作战，钳制武汉白崇禧集团。济南迅速解放，徐州刘峙集团未敢北援，其主力分布在以徐州为中心的陇海路东段和津浦路徐蚌段，白崇禧集团则位于豫南地区。
济南战役即将结束时，9月24日7时，粟裕致电中央军委并转华东局、中原局，正式建议进行淮海战役。
粟裕电报中提出：攻济战斗日内即可结束，如敌停止北援，我们下步行动，为了更好地改善中原战局，暴露津浦线，并迫使敌人退守江边及津浦沿线，减少其机动兵力，以便于我恢复江边工作，为将来渡江创造有利条件，以及便于尔后华野全军进入陇海路以南作战能得到交通运输供应的方便，和争取华中人力、物力对战争的支持，建议即进行淮海战役。粟裕建议：“该战役可分为两阶段：第一阶段以苏北兵团（须加强一个纵队）攻占两淮，并乘胜收复宝应、高邮，而以全军主力位于宿迁至运河车站沿线两岸，以歼灭可能来援之敌，如敌不援或被阻，而改经浦口长江自扬州北援，则我于两淮作战结束前后，即进行战役第二步，以三个纵队攻占海州、连云港，结束淮海战役。”在攻济打援的作战中，打援部队占一半以上，因敌人未敢增援，兵员无损耗，而且自豫东战役后已有两个多月未曾打仗，济南战役后可以不必休整，立即出动，以免“失去适宜作战秋凉气候和济南失守后加于敌人之精神压力”。
同一天，中原野战军领导赞同粟裕的建议，电告中央军委并告粟裕：“济南攻克后，我们同意乘胜进行淮海战役”，并表示“攻两淮并吸打援敌为最好”。
对于两支野战军主要负责人的上述建议，毛泽东和中央军委极为重视。
第二天，中央军委复电粟裕：“敬七时电悉。望你们召集许、谭、王及其他可能到会之干部，开一次讨论行动的会议，以最后斟酌的意见电告我们审查。”在同一天，军委又致电饶漱石、粟裕并告许世友、谭震林、王建安、刘伯承、陈毅、李达电，指出：我们认为举行淮海战役，甚为必要。目前不需要大休整，待淮海战役后再进行一次休整。淮海战役可于十月十号左右开始行动。你们应利用目前半月时间，使攻济部队获得短时休息，然后留一个纵队位于鲁西南，起牵制作用，……其余全部南下，准备进行几个作战：（一）估计不久邱兵团将退回商、砀地区，黄兵团将回至新安镇、运河车站地区，你们第一个作战应以歼灭黄兵团于新安、运河之线为目标；（二）歼灭两淮、高、宝地区之敌为第二个作战；（三）歼灭海州、连云港、灌云地区之敌为第三个作战。进行这三个作战是一个大战役。毛泽东和中央军委在电报中提到的这个方案与粟裕的方案在行动方向上完全是一致的，所不同之处是粟裕设想以华东野战军四分之一的兵力（4个纵队）攻两淮，四分之三的兵力（12个纵队）在运动中歼灭自徐海线上南下的援敌一部，而军委这个方案，则战役一开始打的是新安镇，是大规模的阵地攻坚战。
防守新安镇的是黄百韬兵团的3个军（后来增加到5个军），还要阻止邱清泉、李弥2个兵团沿陇海路东援，花的代价要比在吸引敌人离开据点来援在运动中歼敌要大得多，这样打法，将需要准备时间，不能立即南下，乘秋凉气候结束战役。但是，中央军委这个方案有一个优点，打掉了新安镇，就把山东与苏北、苏中联成一片，战役一开始就可以得到山东人力物力的全力支援，而且围歼了黄百韬兵团，首战就取得很大胜利，砍掉了徐州刘峙集团的“右臂”，这样多花一些代价，把战役推迟一个多月发动，也是值得的。
自淮海战役作战计划提出后，毛泽东开始对整个南方战场作出新的规划。
9月28日12时，毛泽东在给饶漱石、粟裕、谭震林并告刘伯承、陈毅、华东局的电报中指出：黄兵团调回新安镇地区业已证实。你们淮海战役第一个作战，并且是最主要的作战，是钳制邱清泉、李弥两兵团，歼灭黄百韬兵团。新安镇地区距离徐州甚近，邱李两兵团赴援甚快。这一战役必比济南战役规模要大，比睢杞战役的规模也可能要大。因此，你们必须有相当时间使攻济兵团获得休整补充，并对全军作战所需包括全部后勤工作在内，有充分之准备，方能开始行动。
10月11日，毛泽东、中央军委充分采纳各种意见与建议，经过精细加工研究，制定了《关于淮海战役的作战方针》。
当日，毛泽东将作战方针电告饶漱石、粟裕、谭震林及华东局、中原局，并指出：
（一）本战役第一阶段的重心，是集中兵力歼灭黄百韬兵团，完成中间突破，占领新安镇、运河车站、曹八集、峄县、枣庄、临城、韩庄、沭阳、邳县、郯城、台儿庄、临沂等地。为达到这一目的，应以两个纵队担任歼灭敌一个师的办法，共以六个至七个纵队，分割歼灭敌二十五师、六十三师、六十四师。以五个至六个纵队，担任阻援和打援。以一个至二个纵队，歼灭临城、韩庄地区李弥部一个旅，并力求占领临韩，从北面威胁徐州，使邱清泉、李弥两兵团不敢以全力东援。以一个纵队，加地方兵团，位于鲁西南，侧击徐州、商丘段，以牵制邱兵团一部（孙元良三个师现将东进，望刘伯承、陈毅、邓小平即速部署攻击郑徐线，牵制孙兵团入）。以一个至二个纵队，活动于宿迁、睢宁、灵璧地区，以牵制李兵团。以上部署，即是说要用一半以上兵力，牵制、阻击和歼敌一部，以对付邱李两兵团，才能达到歼灭黄兵团三个师的目的。
（二）第二阶段，以大约五个纵队、攻歼海州、新浦、连云港、灌云地区之敌，并占领各城。估计这时，青岛之五十四师、三十二师很有可能由海运增至海、新、连地区。该地区连原有一个师将共有三个师，故我须用五个纵队担任攻击，而以其余兵力（主力）担任钳制邱李两兵团，仍然是九月间攻济打援部署的那个原则。
（三）第三阶段，可设想在两淮方面作战。那时敌将增加一个师左右的兵力（整八师正由烟台南运），故亦须准备以五个纵队左右的兵力去担任攻击，而以其余主力担任打援和钳制。
三个阶段大概共须有一个半月至两个月的时间。
10月14日，毛泽东又强调指出：担任打援任务的部队，应放在援敌的侧面，即位于徐州的北面、西北面、南面，造成围攻徐州的态势，使徐州之敌“第一个感觉是我军似乎有意夺取徐州，而不能确切断定我军并非夺取徐州，而是歼灭黄兵团。等到我军对黄兵团攻歼紧急而决定增援时，又发现如不解除南北两侧威胁，则很难赴援。这样就给我军以必要的时间歼灭黄兵团”。同时指出：“韦吉率一个纵队南下，会合留在路南之十一纵，不要位于宿迁以东，而要位于睢宁地区，控制徐、宿公路，从南面威胁徐州，使邱、李援敌感到如不驱逐韦吉，则无法经睢宁、宿迁东援，同时对于徐蚌线亦起威胁作用，使李部第九军不敢离开该线。”
与此同时，中央军委决定中原野战军主力在淮海战役发起前攻克郑州，然后攻开封或直出津浦路徐蚌间，钳制敌孙元良、邱清泉、李弥兵团和第四绥靖区部队，配合华东野战军作战。
10月19日，根据中央军委指示：陈毅、邓小平率中原野战军第一、三、四、九等纵队向陇海路挺进；刘伯承、邓子恢、李达指挥中原野战军第二、六纵队及陕南、江汉、桐柏军区部队在豫南、鄂北地区钳制张建、黄维两兵团。10月22日，中原野战军主力占领郑州。24日，开封守敌东撤。中原野战军主力4个纵队，在邓小平政治委员、陈毅副司令员兼华东野战军司令员、政治委员的率领下，乘胜东进，加入徐蚌作战。
由于河南方面战事发展很快，毛泽东和中央军委加紧了对淮海战役具体战略部署的指导。