从北伐胜利，宁汉合流，蒋介石成为南京国民政府领袖后。国民党军队的编制始终十分混乱。不仅仅拥兵一方的各大军阀各行其是，使用各自的军队编制。哪怕是蒋介石的嫡系中央军，编制也一直在不停的变化，各种军制并行存在。

抗战胜利后，蒋介石的嫡系中央军已经在国民党军队占据巨大优势，约一半的国民党军队是中央军，再加上中央军本就比杂牌军更优异的补给、更精良的装备、更好的训练，和本身就依附于中央军的杂牌军，此时，国民党内已经不在存在有能力直接能够挑战蒋介石的军阀。

蒋介石面临的唯一对手，就是共产党及其领导的军队。踌躇满志的蒋介石为了真正的一统全国，在美国的斡旋之下，两党双方在重庆谈判，而整编师就是重庆谈判的产物之一。

1946年，政治协商会议后，国共双方达成了整编军队的计划。并计划在1946年度，半年内将全国军队缩编为90个师。根据国共双方达成的《关于军队整编及统编中共部队为国军之基本方案》，将把全国的陆军整编为国民党军队90个师，共产党部队18个师，合编为36个军。

1946年3月3日，国民党正式明确了军队复员整编时间表。计划将现有部队复原为30个军，90个师，51个兵工建设总队。国民党的王牌军七十四军，也是在此时被整编为整编第74师。刚刚担任74军军长没多久的张灵甫，也成为了整编74师的师长。

但是由于国共内战爆发，国民党并没有完成全部军队的整编，只是将陇海铁路以南和西北地区的陆军大部分整编完毕。因此，在其他区域，如东北、华北等地区，国民党的军队仍保持了原番号。也因此，国民党军队将整编后的部队前面冠以“整编”字样，以作区别。

所以，整编74师，就相当于国民党未整编前的军。张灵甫整编师师长的职位，也是与国民党军长同级。所以，张灵甫的军衔是中将。