1937年抗日战争全面爆发，1937年8月，在武汉的国民革命军五十八师师长俞济时接到了国民政府的委任状，被任命为新组建的国民革命军七十四军军长。新组建的七十四军下辖五十八师（师长冯圣法）和五十一师（师长王耀武）。

1937年8月13日，淞沪会战爆发，第51师和第58师就分别于8月24日和29日抵达淞沪战场。

第74军在接下来的一个多月中，与日军在罗店战场上展开反复搏杀，战况异常激烈。在淞沪会战期间，初出茅庐的第74军不畏强敌、英勇作战，以累计伤亡4707人的代价毙伤日军千余，在这当时是一个十分难得的战果，也为今后成为王牌奠定了基础。

1938年，日军开始进攻武汉，74军参加到保卫武汉的会战中。这一次会战中的万家岭之战成为了74军的成名之战。这年10月，日军106师团被国军12个师包围于德安之万家岭地区。日军鉴于情势危急，选择了74军第58师防区作为突破口进行突围，在地面火力与航空兵狂轰滥炸掩护下，日军全力进攻。58师死战不退，两天的不停血战，数不清的白刃斗，58师伤亡惨重，但牢牢地守住了阵地，粉碎了日军的突围企图，成为重创日军106师团的关键之战。

10月7日，国军全面进攻日军106师团，74军各部作为主力参与攻击。当天74军一部就占领了张古山制高点，但当夜日军全力反扑。战至8日早晨，在日军20多架飞机的助战下，日军再次占领张古山。58师守卫此高地的官兵自营长王之干以下，全体牺牲。国军战报称：“亦继58师守此制高点之官兵全数殉国”。

10月9日，旅长张灵甫率领敢死队400多人，从险山绝壁处突入日军侧后，收复张古山。随后配合主力部队几乎全歼106师团。此战之后，74军58师能作战的官兵只剩下不足500人，可以说58师中的浙江籍官兵基本损失殆尽。

1939年6月俞济时升任第10集团军副司令兼86军军长，51师师长王耀武升任74军长，74军下辖51师（李天霞）、57师（余程万）和58师（廖龄奇）。

1941年3月，74军参加上高会战，日军集中万余兵力在数十架飞机掩护下猛攻74军云头山、白茅山阵地，74军与日军反复争夺，先后7次与日军白刃肉搏，为友军赢得了集结的宝贵时间。因此中路日军不得不于3月24日黄昏在北路第215联队掩护下开始突围，但25日夜又被国军将突围与增援之敌再次包围，终将其大部歼灭。在全线出击中74军又作为先锋，乘胜追击，收复官桥，击毙日军第34师团长岩永少将。整个上高会战，日军第33师团遭到重创，第34师团及独立第20混成旅团伤亡更是高达70%以上，共毙伤日军1.5万，被何应钦誉为 “开战以来最精彩之作战”。

此役74军被第19集团军司令罗卓英评价为“战斗力量坚强”！ 74军在战役中“拼死力拒，虽血肉横飞、伤亡惨重，仍不稍退，是日一日间敌我伤亡均在四千以上”，战功显赫，荣获国民政府第一号武功状和最高荣誉“飞虎旗”，被誉为抗日铁军。74军军长王耀武表现优异，受到表彰。

上高会战之后，74军作为首批五个军之一换装苏式装备，得到115毫米榴弹炮4门，76毫米野炮8门，37毫米反坦克炮4门，7.62毫米M1910水冷式马克西姆（即“俄国版的马克辛”）重机枪25挺，7.62毫米M1910马克西姆·托加莱和M1928德克恰廖夫（简称为DP型，即常见的转盘机枪）轻机枪70挺。

1943年11月常德会战爆发，74军57师8000人坚守常德城16天，顽强抗击了日军陆、空、坦的协同攻击，在日军猛烈炮火甚至释放毒气情况下仍死战不退，余程万师长留下第169团残部与第171团残部之一部共百余人死守阵地，自己率所属三员团长及两团残部百余人，于半夜向德山突围，其余官兵自愿与常德共存亡，与突入城内的日军逐屋争夺，全部壮烈殉国。

6天后余程万就随反击部队又杀回常德，收复常德。此役正逢美、中、英三国首脑开罗会议，罗斯福总统听取了蒋介石的战况介绍，特意将余师长的名字记在备忘录上。著名作家张恨水就根据常德之战写出一部名叫《虎贲万岁》的小说。常德人民为纪念74军为国捐躯的牺牲将士，自发募捐，于1944年3月在市青年路东侧修建占地达30000平方米的阵亡将士墓地，作为永远的纪念。

1944年1月军长王耀武升任24集团军司令，施中诚接任军长。下辖51师（周志道）、57师（李琰）、58师（蔡仁杰）。

1945年5月，在湘西雪峰山战役中，74军再次显示出抗日铁军的雄风，给予日军以重创，获得两面“飞虎旗”。

抗战中，74军几乎参加了所有正面战场上的重大战役，尤其是在德安、上高、常德三次战役中表现最为突出，以其英勇顽强的战斗意志，被誉为抗日铁军。

1945年8月，日本投降，74军空运南京受降，并担任南京守备，因此被称为“御林军”。1946年3月，74军改编为整编74师，全师3万余人，全副美械装备，在老军长王耀武帮助下师长张灵甫兼任南京警备司令，下辖整编51旅（陈传钧）、57旅（陈嘘云）、58旅（卢醒）。驻扎在南京孝陵卫，拱卫首都，被誉为天下第一师。