粟裕于1948年1月22日向中央军委发电，明确建议刘邓、陈谢和华野外线兵团三支大军在今后一个时期采取忽集忽分的作战方式，以求能彻底地歼灭敌人一路。他认为“如此能有两三次歼灭战，则形势可能变化”。
但是中央军委有新的考虑。1月27日，中央军委给粟裕发电：“为迫使敌人改变战略部署，吸引敌人20至30个旅回防江南，确定粟裕率野战军第一兵团，渡长江南进，在南方数省执行宽大机动任务。”要粟裕“统筹见复”。
自己的意见与统帅部的意见相左！粟裕意识到这一重大决策，显然是为发动战略进攻，改变中原战局。作为一个战区指挥员的他，一面积极进行渡江南下的准备，一面再次向军委提出自己的意见。
1月31日，粟裕给中央军委关于行动时间及渡江方案的电报中，重申了他对中原战局的认识，电报说：“如能于最近打几个歼灭战，敌情当有变化。因此于最近时期，将三个野战军由刘邓统一指挥，采取忽集忽分（要有突然性）的战法，于三个地区辗转寻机歼敌（华野除叶王陶外可以三至四个纵队参战），是可能于短期内取得较大胜利的。”
他认为，为了改变中原战局，中原和华东我军势必还要同敌人进行几次大的较量，打几个大歼灭战。而要打大歼灭战，三个纵队过江南还是办不到的，而且这时在中原战场上，中原野战军有四个主力纵队，华东野战军有六个主力纵队，再加上其他部队和地方武装，我军是有力量打大规模歼灭战的。同时中原黄淮地区背靠大后方，人力物力的补给供应比较方便，地势平坦，交通发达，在我破坏铁路公路限制敌人重装备机动的情况下，可充分发挥我军徒步行军的长处。这说明在这个地区打大规模歼灭战的条件正在成熟。如果我三个纵队渡江南进，不仅调不走蒋介石在中原的四个主力军（其中两个军是蒋介石的嫡系主力，中原战场骨干，又是半机械化部队，不会调回江南打游击的），也调不走桂系的两个军（蒋介石怕纵虎归山）。那样，不仅达不到预期的目的，还会分散我军兵力。粟裕经过两个多月深思熟虑，终于形成了三个纵队暂不过江，集中兵力在中原黄淮地区打大仗的建议，并于4月18日上报了中央军委。
此时陈毅刚刚从外地回到华野司令部。
对于这次建议，他不知道中央是什么态度，所以电报发出以后，他在静待毛泽东的声音。
“粟司令，电报！”
粟裕接过电报，只见上面写着：
为商量行动问题，请陈毅、粟裕两同志于卯有（4月25日）卯世（4月30日）数日内同来平山中工委开会为盼。
“看来中央是难下决心哟！”陈毅对他说。
“那我就要当面陈述我的意见了。”粟裕还是不紧不慢地说。
他们昼夜兼程，风尘仆仆地来到当时的中共中央所在地。
也是刚刚从延安来到河北省阜平城南庄的毛泽东，听说他们到了的消息以后，很快安排见了他们。
人们都知道，毛泽东接待客人和送客人，一般是不出门的。在他的卫士的记忆里，他只有两次是例外的。一次是和越南的胡志明见面，再一次就是和粟裕见面。
“粟裕同志来了？好哇！”他说着，走出了屋门，和粟裕紧紧握手、拥抱。
这是他难得和他的战将的一种见面。
进屋坐下来，毛泽东主持中央书记处扩大会议，听取了他的详细汇报。整个汇报过程中，毛泽东很少说话，只是吸烟。
就在那个会上，中央批准了他暂不过江，这件事构成了后来淮海战役的蓝图。
会议结束的时候，毛泽东约了粟裕单独谈话。
毛泽东说：“粟裕同志，陈毅同志不回华野去了，今后华野由你来搞。”
这个消息对粟裕来说实在是太突然了。给中央提不同意见，不仅没挨批评，反而“升官”了。
这就是战争年代的毛泽东。
“主席，陈毅同志不能离开华野，华野也离不开陈毅同志。”
“中央已经决定了，陈毅和邓子恢到中原军区、中原局工作，那里更需要他们。”
“主席，我请求，不要让陈毅同志离开。”
毛泽东大手一挥，说：“中央已经定了。”
粟裕觉得中央已经决定了，再坚持也不好，就提议说：“是不是请陈毅同志继续兼任华野的司令员兼政委。”
毛泽东想了想，说：“那好吧，陈毅同志仍任华野的司令员兼政委。但中原的工作很需要他，必须马上就去。他在华野的职务，就由你来代理吧。”
……
事后粟裕回忆说：“那个时候我的压力好大呀，毛主席接受了自己的建议，陈毅又不在了，这等于在毛泽东那里立了军令状，这一仗要是打不好，那可真是难以见江东父老了。”
6月17日至7月6日，粟裕集中了华东野战军外线兵团的八个纵队，在中原野战军的配合下，组织指挥了豫东战役。首先夺取了开封，接着又歼灭了援敌一个兵团，活捉了兵团司令区寿年，重创了黄伯韬兵团，总共歼敌9万余人，创造了解放战争以来一次战役歼敌数字的新纪录。两个月以后，在粟裕指挥下，华东野战军解放济南，全歼济南守敌10万人。
“淮海战役”的说法，最早由粟裕提出；与敌决战于长江以北的建议，也正是从这里来的
那段日子，应该说是毛泽东和他的同事们最兴奋的日子。
有时候一天两个胜仗，有时候会有意想不到的奇迹出现。整个解放战争的节节胜利，使全国人民欢欣鼓舞。也使作为战将的粟裕有了新的思考。
豫东战役的胜利，说明了以我军之相对集中对付敌人的高度集中是可能的也是成功的。粟裕认为这种大规模的歼灭战，发展下去势必就是与敌人主力的决战，而要决战，淮海地区比中原地区更为有利。
早在1948年8月23日，粟裕在报军委关于调苏北兵团参加济南战役的电报中提出：“俟两个月以后，我们即可举全力沿运河及津浦南下。”济南战役中，敌援兵未敢与我接触，我打援之八个半纵队即成了下一个战役的生力军。
粟裕在济南战役胜利已成定局时，就敏锐地看到，如我军回师中原，必处于蒋军武汉集团和徐州集团之间，这将是和优势之敌作战，不如兵出徐蚌线以东。于是9月24日晨他给军委发电：
为更好地改善中原战局，暴露津浦线，并迫使敌人退守（至少要加强）江边及津浦沿线，以减少其机动兵力，以便于尔后华野进入陇海路以南作战，能得到交通运输供应的方便和争取华野人力、物力对战争的支持，建议即进行淮海战役。
这个建议第二天就得到了中原野战军首长的赞同和军委的批准，足见其重要和及时。
但淮海战役怎么打，和打成个什么样子，也并不是一开始就设计好了的，而是一步一步变化来的。
淮海战役于11月6日发起。这时，全国和华东战场形势中几个重大的变化，引起粟裕的注意。在一次作战会议上，他拿出了自己看法，侃侃而谈：“……第一，辽沈战役已于11月2日结束，东北野战军入关作战，将使华北之敌难以南调；第二，10月中原野战军主力在陈毅、邓小平指挥下已进到徐州西南地区，中野和华野已由战略上的配合发展到战役上的协同作战；第三，淮海战役刚开始，敌人就放弃了连云港和海州，我军随即进占，卡死了敌人从海上进入淮海战场的最近通路；第四，何基沣、张克侠所部起义，该部起义后，我军可通过其防区直插陇海线，切断黄伯韬兵团向徐州的退路，并对徐州之敌形成包围势态；第五，徐州之敌有退守淮河以南的征候。”
最后他肯定地说：“我们在南线同敌人决战的条件已经到来！”
经过和陈士榘、张震研究，他们于1948年11月7日联名给陈毅、邓小平和军委发电报：
……如中原军歼灭刘汝明部作战已经完成，则建议以主力直出津浦路徐（州）蚌（埠）段（现在即请告豫皖苏对该段破击，淮海已告江淮破击），截断徐（州）敌退路，使李（弥）邱（清泉）兵团不能南撤。我运（河）东部队解决黄（伯韬）兵团后，即以一部加入运西，歼灭李（弥）兵团，主力则协同中原军攻击徐蚌段，孤立徐州。尔后，或继续歼灭黄维兵团（可能回撤）或歼灭蚌埠之孙元良兵团（可能收缩蚌埠），或者夺徐州，当依实况再定，但孤立徐州，截断徐敌陆上退路甚为必要……
次日电波传来毛泽东的复电说：“虞（七日）午电悉。估计及部署均很好。”
粟裕在7日电报发出的当晚，又把高个子的张震将军叫了来，你一句我一句，一直商讨到了第二天东方发白。
此时他们已经形成了将敌人主力歼灭在长江以北的明确建议。他们联名发报给军委、陈邓并华东局、中原局。
电报中说：如果各老解放区尚能做比较大支持的话，我们应迫使敌人现在江北之部队加上由葫芦岛撤退之部队与我在江北作战，制造我在江北大量歼敌的机会。如果认为这个方针是对的，“则我们在此次战役歼灭黄（伯韬）兵团之后，不必以主力向两淮撤（新海敌主力已西撤），而以主力转向徐（州）蚌（埠）线进击，抑留敌人于徐州及其周围，尔后分别削弱与逐渐歼灭之（或歼孙兵团，或歼黄维兵团），同时以主力一部进入淮南，截断浦蚌铁道，错乱敌人部署与孤立徐、蚌各点之敌人。为此，在战役第一阶段之同时，应即以一部破坏徐蚌铁路，以阻延敌人南撤。”
这个电报受到中央军委的高度重视，9日，毛泽东亲笔起草的复电指出：“应极力争取在徐州附近歼灭敌人主力，勿使南窜。华东、华北、中原三方面，应用全力保证我军的供给。”
整个淮海战役期间，粟裕以他积极的指挥行动，努力把握战场形势，关照战役的各个方向，保持和发展战场的主动，并以顽强的毅力勇挑重担，实现了中央军委的战略决策。淮海战役中他所负责指挥的华东野战军取得了歼灭敌军一个“剿匪总部”，四个兵团，一个“绥靖区”共计44万多人的光辉战绩，为战役的胜利作出了应有的贡献。