虽然北宋从第二代传至宋太宗赵宽义一脉，但南宋第二代又转至赵匡胤一脉，这或许是冥冥中自有定数。宋高宗唯一的儿子早夭，因为自己之前受到金兵南侵的惊吓导致不举，所以自此不能生育。

公元1132年，时年25岁的宋高宗开始择选太子人选，选定宋太祖后裔6岁的赵伯琮。宋高宗将其改名为赵昚，收养在宫中，也就是后来的宋孝宗。宋孝宗赵昚十分孝顺，时常送高宗回宮，被雨淋的满头都是，让高宗感动。

公元1162年，宋高宗决定退位做太上皇，时年55岁。继位后的宋孝宗一直对高宗感激不已，经常亲自去看望高宗。高宗让他不必时常来看望他，要以国事为重。每年到了高宗的生日，孝宗肯定会划拨巨款给高宗，让他过个舒坦开心的生日宴。其实这并不是宫中规矩，但是孝宗每年都如此，让高宗习以为然。

一次，因国家遇到灾荒，军费开支庞大，国家财政捉襟见肘，当年的高宗生日，孝宗送的钱就大幅度减少。这让习以为常的宋高宗极为不满，怒火中烧，当众训斥孝宗不孝，并且绝食。宋孝宗见此颇为不安，并不是故意为之，又不能直接和高宗讲明，以免太上皇更加生气。于是，孝宗派大臣虞允文将实际情况委婉说给宋高宗听。

虞允文拜见宋高宗，对他说，当今陛下仁孝，原本不想如此的，都是臣怂恿的。臣也不想如此，实在是因为今年国家财政拮据，斗胆如此。宋高宗听完后，这才转怒为喜，明白孝宗的苦衷，其实他责骂孝宗不孝是因为钱最能说明对自己的重视程度，怕对自己敷衍了事。