1945年8月15日正午，日本天皇宣布无条件投降，也就是说日军应该放下武器，停止和中国军队作战，可事实并非如此，从1946年到1949年，仍有上万日军在中国作战杀中国人。

1945年8月初到9月初，山西军阀、第二战区司令长官阎锡山，就日军投降与二战区受降，与日本华北派遣军参谋长高桥坦、第一军司令澄田睐四郎、参谋长山冈道武等接触交涉。在此期间，双方便谈及“日本寄存武力于中国”问题。随后即派员秘密谈判，达成协议：将投降后的日本军人编成部队，置于阎锡山的编制下；阎锡山对“残留”下来的日军提供优越条件，官佐阶级在原基础上提高二级（一说三级），兵士全部给予军官待遇……到1946年4月，残留日本主体部队编制日本军人已有6600多人。

残留活动策划、组织者还企图使“残留”下来的日人势力与山西这个中国社会结合，扎根、生存，进而重新占有山西。据现有档案资料综合分析，编入残留部队的日军，安插在山西经济、政治、情报、文化等组织机构的日本军人和侨民，连同所带家属，总数约在12000人左右。为残留日军开办消费合作社、“慰安所”，为残留日侨创办学校、俱乐部，建立残留日人社团、创办残留日人报刊，也在实施或筹划中。

并且还请了第一军的司令官澄田睐四郎担任军事顾问，帮助他打解放军，为了保密，阎锡山让这些日本士兵全部换上国民党的军装，连武器也是和国民党士兵一样。

这日本士兵被编为第10总队，总队长是个日本人，参谋和顾问是晋军的将领，这些日本士兵不仅亲自上战场，而且还帮助阎锡山训练部队。

此时的阎锡山仗着有日本人这支“神秘”武器，就开始进攻八路军，1945年9月10日，阎锡山向八路军进攻，上党战役打响，此次阎锡山的偷鸡不成蚀把米，被八路军歼灭了3.5万人。

在此期间，他克服刘邓大军挺进中原、晋冀鲁豫军区兵力不足的困难，一面与太岳军区司令员王新亭一道组建新的兵团，一面指挥部队参战，借此训练部队作战能力。为更好地完成解放山西的任务，徐向前率部先攻破运城，拔除了阎锡山的晋南屏障。二打素有“卧牛城”之称的临汾。临汾战役付出较大的伤亡代价，但取得了宝贵的攻城经验。徐向前当时以“伤亡大、胜利大、锻炼大”之语评价临汾战役。第三仗是晋中决战。在此战中，徐向前成功运用了灵活机动的战略战术，创造了以寡敌众，以少胜多的范例，也是运动战的典范之作。

当这些日本士兵听说是徐向前的部队后，纷纷解下武器投降，日军对徐向前的威名早有所闻，在另一场战斗中，7名日军军官听说徐向前部队杀来，纷纷剖腹自杀了。

这支上万人的日本人部队，一直到1948年至1949年的太原战役中，才彻底的被消灭，仅有400多人被俘虏，至此日军才彻底从中国消失。此役共消灭敌人13.8万余人，盘踞山西达38年之久的阎锡山政权宣告灭亡。