1948年9月，粟司令给主席发电报，提出：”以徐州为中心和国民党军决战的建议。”主席复电：”同意和国民党军决战，同意举行战役，甚为必要。但不要先打两淮(淮阴、淮安)，要以歼灭黄百韬兵团于新安镇、运河地区为主要目标。”

黄百韬是国民党军队中唯一非黄埔系而当上兵团司令的人，他对蒋介石非常愚忠，反革命的行为异常坚决，在皖南事变中，他生俘了新四军的叶军长。黄百韬自知不是黄埔嫡系，又没有靠山，只有靠战才能站稳脚跟，在抗战时期，他以战功深得蒋介石的信任。

豫东战役是黄军事生涯的顶点。战役之后，在国民党军事会议上，蒋介石曾亲自为黄百韬挂上青天白日勋章。而黄百韬也决心誓死为蒋介石卖命。豫东大战后，黄百韬担任国民党第7兵团司令官。

1948年11月6日，我华东野战军分路南下，淮海战役开始。10日，华东野战军把黄百韬兵团分割包围于徐州以东的碾庄地区。14日，粟司令召集担任主攻的六个纵队首长开会。

粟司令说：“野战攻击转为近迫作业，利用暗夜把交通壕挖到敌占村庄附近，距敌前沿阵地50米到30米处，逐个争夺敌人的火力点及所占村庄。逐点争夺中，集中炮火；先打弱敌，后打强敌；攻其首脑，乱其部署。”

采用这种新的战术后，至22日，仅用8天时间，我华东野战军就将黄百韬的5个军12万人，全部干净、彻底地消灭了。

12万大军被歼灭后，黄百韬的第七兵团残余部队在碾庄已经是根本无法突围了，而望眼欲穿的援兵没来，黄百韬顿时完全失去了顽抗的最后勇气和信心了。

22日黄昏，黄百韬指挥残部，企图向西北方向突围，40公里之外，就是企图增援而被我华东野战军阻击的李弥兵团。当黄百韬逃至尤家湖南面的一片苇塘时，我华东野战军“全歼黄兵团，活捉黄百韬”的喊杀声四起。

听见喊声后，困兽之斗的黄百韬时已完全失去了最初的镇静，他披着军大衣在深沟中转来转去，不许任何人向他转达劝告和递送打到阵地上来的传单。

彻底绝望之际，黄百韬拿出名片一张，在背后写上“百韬战死，尽忠了”之后，交给国民党第25军副军长。随即，黄百韬拔出手枪自尽了。

黄百韬兵团被全部歼灭后，淮海战役胜利的基础已经打下。得知黄百韬“自尽”的消息后，粟司令放下一颗心，松了一口气。此时，他已连续七天七夜，忘喝水，忘吃饭、忘睡觉，躺在帆布行军床上，日夜守候在电话机旁，关注着战场情况的发展。

得知黄百韬兵团被全歼，黄百韬自尽的消息后，蒋介石是悲痛恸哭，他流泪说道：“全军要学黄的这种精神啊。”

粟司令打了大胜仗的消息传到主席那后，主席非常的高兴，他发电报通报全军庆贺。