素有天下第一家美誉的孔氏家族，全中国只有两处。一处是所有人都熟悉的山东曲阜孔庙，还有一处就是衢州的南孔庙了。
所谓家庙就是孔子的后人居住的地方，孔子之后时代袭居山东曲阜，是以今日曲阜三孔名闻天下，这也是为众人所周知的事。可是孔子的后人什么时候跑到浙江的衢州这样的一个小城建了一座家庙呢？这件事还得从北宋靖康年间，金兵大举入侵说起。
宋靖康二年(1127年)，金兵攻陷北宋京城汴京，掠走宋徽宗、宋钦宗二帝。在这场史称靖康之变的大难发生之时，宋徽宗第九个儿子，康王赵构正在相州，因而幸免于难。大批世祖随着皇室南迁，这里面就有孔子之后，第48代衍圣公、孔端友和他的族人。
这一年孔端友随着皇室衣冠南渡，落脚在了衢州，高宗皇帝发了话，让他在那里安家。于是，孔端友在衢州找了块地，盖了房子居住了下来，建立孔氏家庙。从此后，衢州也就被孔氏称为第二圣地了。本打算暂住一段时间，过几年大宋王师找个机会就能打回北方，没想到这一等就是几百年过去了。
从此，孔氏家庙分了两宗，一南一北，有宋一代都是尊南方一支为正宗。