1927年5月1日任第二集团军北路军总司令，由宁夏出动随冯玉祥东征，奉命进攻绥远、察哈尔的奉军，因遇阎锡山阻挡，遂转到甘陕。5月30日冯玉祥所部国民联军正式改称第二集团军，分八个方面军，以宋哲元任第四方面军总指挥，6月13日被武汉政府任命为甘肃省政府委员，14日被武汉国民政府正式任命为第二集团军第四方面军总指挥。

9月28日甘肃张兆钾部韩有禄、黄得贵合旧国民三军田玉洁部占三原、泾阳，宋哲元军围攻，10月24日宋哲元败田玉洁，占三原，31日宋哲元攻占陕西泾阳，田玉洁、黄德贵败逃，韩有禄阵亡。11月5日进驻西安，16日就任陕西省主席，继续督剿陕甘边境和陕西境内的地方顽匪，休养生息，民困渐苏，冯玉祥称赞“弊绝风清，后顾无患”，甚至有“百姓焚香祝公万岁”者。

1928年2月7日任国民政府委员、军事委员会委员。3月30日中央常委会决议，通过宋哲元等为陕西省党部指导员。4月1日南京政府开始“第二期北伐”，28日宋哲元、石敬亭大破河南樊钟秀部于洛阳龙门，击毙军长李万如，并继续追击。4月22日，樊钟秀部二万余连占河南鲁山、郏县、密县、临汝等县，截断陇海路于偃师，攻击第二集团军后方，26日樊钟秀围攻洛阳，28日宋哲元、石敬亭大破樊钟秀于洛阳龙门，第二集团军解除了后顾之忧。5月10日陕西李云龙（虎臣）乘第二集团军东调之隙分路攻西安潼关，18日被宋哲元、孙连仲击败，27日宋哲元解西安之围，李云龙败退。6月初宋哲元回到西安，部署军队继续剿匪。8月22日南京中央政会一五一次会议令宋哲元开去山东省府委员。8月25日宋哲元部攻克凤翔，击毙党玉琨部两千人，俘五千人，当夜宋哲元下令杀掉5千名俘虏，其它匪帮闻风丧胆，纷纷投降。

冯军攻克凤翔后的第二天，宋哲元找张维玺商议，要把俘获的党部5000多官兵全部杀掉。张起初并不同意，认为这样未免太残忍和不人道，但在宋的坚持下，为震慑各地陕军，张亦放弃了自己的意见。于是便开始了一场骇人听闻的凤翔大屠杀。他究竟心怀百姓的英雄还是残忍刽子手？只有让后人评估！