5月16日，华东野战军对整编第74师发起总攻，全歼其部3.2万余人，师长张灵甫、副师长蔡仁杰等多名高级军官被击毙。中共华东野战军司令员陈毅和副司令员粟裕在国民党军重兵环伺的巨大压力下指挥若定，终于战胜对手，实现了他们战前所发“百万军中取上将首级”之豪言。当天，蒋介石手令山东各部：“竭尽全力，把握此一战机，万众一心，共同一致，密切联系，协力迈进，各向当面之匪猛攻……如有萎靡犹豫，逡巡不前，或赴援不力，中途（停顿）以致友军危亡，致使匪军漏网逃脱者，定以畏匪避战，纵匪害国，贻误战局，严究论罪不贷。”面对优势国民党军的进逼，华东野战军迅速脱离战场，蒋介石的决战计划再次落空。5月19日，蒋飞抵徐州，与陈诚、顾祝同等商讨山东军事，决定各部暂驻原防，实施全面整训，改正战术，期作最后决战之准备，国民党军在山东的攻势暂告一段落。
以整编第74师之实力，以其友邻部队相距不远之事实，结果仍被全歼，震动了国民党上下。蒋介石“悲哀痛愤”，“尤增愤激”，痛责“高级军官已成了军阀，腐败堕落，自保实力，不能缓急相救”，“各级指挥官每存苟且自保之妄念，既乏敌忾同仇之认识，更无协同一致之精神，坐是为敌所制，以至各个击破者，实为我军各将领取辱召祸最大之原因”。为追究此役失败之责任，整编第83师师长李天霞被“革职拿办，交军法审判”（次年被重新起用）；整编第25师师长黄百韬被告诫；第1兵团司令汤恩伯被撤职，由范汉杰接任。在山东的国民党军将领大半被召到南京，检讨此役得失以及军队战术、精神、纪律等方面的缺失。蒋介石自信其指挥正确，将失败责任完全诿于下属，批评他们对其手订之军事计划没有遵照实行，认为“这就是你们一切失败的总因”。此后，一直负责指挥作战的参谋总长陈诚失去指挥权，并在8月份被打发到东北，接替熊式辉担任东北行辕主任。国民党军的作战改由蒋介石直接指挥，重要作战行动“必受到蒋先生亲署命令方生作用”，从而更进一步养成了前线将领对所谓“手令”的依赖，不利于他们适时因应瞬息万变的战场情况，发挥作战的积极主动性；而那些出于正宗嫡系的“天子门生”，更是非有“手令”不肯行动，也加剧了军队内部的派系矛盾，不利于需要高度配合协同的军事作战行动。而蒋“远隔前方，情报不确，判断往往错误”，即便亲令，也是“一曝十寒，无甚效果”；何况，蒋介石既为国民党内独揽大权的最高领袖，党、政、军决策事务集于一身，可谓“日理万机”，个人精力毕竟有限，很难对每次作战都进行具体的指导，而其指挥之错误，又造成军队内部对其信任的下降。蒋介石亲自指挥军事的结果，并未从根本上改变国民党军事由攻转守的不利局面。