腐败的西晋政权在五胡乱华的打击下仓促崩溃，从此北方陷入混乱，五胡十六国时期来临，面对强大的北方少数民族政权，偏安的司马氏皇族也无可奈何。然而最终少数民族所造成的混乱局面也只是处于北方，而偏安南方的司马氏最终抗住了种种打击守住了江南，自此南北分裂的局面持续了好几个世纪。

而东晋之所以能够守住江南，一支王牌军队的存在有非常重要的意义，那就就是北府军的存在，北府军是东晋政权抵抗北方外敌的强大支柱。而正是这支军队的存在，使得东晋政权可以延续相对较为久的时间，而也是这支军队的存在，奠定了南朝的基本作战力量，此后甚至是刘宋王朝的北伐，其中都有北府军旧部的身影存在。

北府军的起源，根本原因在于北人南下，在少数民族政权陷入混战的局面，北方流民数量不断增多，而南下到京口一带便由于财力不足，大部分人无力继续南下，于是在当地形成了北方人的大量居住地。当地守将郗鉴便开始征召这些入伍，成为京口要塞一带驻扎部队。

这支由北方流民组成的部队一开始就形成了较为强大的作战力量，首先这些度过生存危机的流民群体本身就非常适合组成军队，再加上流民对于扰乱北方的胡人有着深刻的家国仇恨，使得这支队伍的作战热情非常高涨，对于保家卫国的重要性有着明确的理解。其次京口一带本身就是对抗北敌来犯的要道，在这个区域自然非常容易形成较强的作战部队。

后来谢氏主政这里，为了更好的拱卫江南，谢安对北府军开始进行整编再组，经过谢安的经营，北府军正式成形，而其北府一名的由来，也是因为京口一带在当时被称北府。在北府军成形之后，正式成为东晋王朝战斗序列当中最强大的军队，其实北府军还有一个重要的战略目的那就是对桓氏的内部威胁进行预防。

而北府军最大的历史战绩就是淝水之战的取胜了，前秦刚刚统一北方不久即南犯东晋，在这一战当中，虽然北方军队数量上形成了巨大的优势，但北府军依旧凭借精锐的作战实力将其击垮，而这一战也使得前秦一蹶不振，北方的局面再次重新洗牌。

其实北府军的战绩并不只有淝水之战，还曾取得抵抗前秦苻丕进攻襄阳的襄阳之战的胜利，淝水之战后也曾发动北伐，取得很多战绩。

后来北府军军权几度易手，北府军的门阀军队性质也更为强化，成为了东晋内部一支比较强盛的军事力量。而后来掌兵者刘牢之死于桓氏之手后，刘裕等北府旧将开始起兵，最终刘裕击败桓玄，之后刘裕的势力得到了极大的发展，于是取代了东晋政权，建立刘宋王朝。

在刘宋王朝建立后，原先的北府军军事集团已经基本上失去了原先的编制，而成分也已经不是最开始版本的北府军队了，但是北府军的很多成分其实还存在，刘裕也一直很依靠北府军的旧有力量，此后他所进行的北伐，其实也是北府军军事战果的一种历史延续。