徐霞客又名徐宏祖，出生于万历十五年，虽然生在万般皆下品惟有读书高的时代，但他一点都不喜欢读书，更不愿意去参加科举考试，反而从小就热衷于爬山涉水，按照当时的主流观念，应该属于典型的顽劣儿童，但他的父母不但不生气，反而明里暗里表示支持。

具体原因要追逐到他的一个叫徐经的祖先。此人在弘治年间是个有名的土财主，在弘治十二年上京赶考并与大才子唐伯虎结识。据说当年的考官出了一道旷世难题，所有考生中只有两个人答对了，一个是唐伯虎，另一个就是徐经。不过还未等到张榜公布成绩，两人就被举报串通考官买题，最终锒铛入狱。对此后人说法不一，比较靠谱的是唐伯虎没有参与买题，因为他是真的有才；徐经确实参与了买题，因为他当时真的只是一个土财主。不过不管怎样，两人都乘兴而去败兴而回，不仅没有取得名次，反而各自挨了不大不小的处分。

此后，唐伯虎心灰意冷，做了一个风流浪子，而徐经则开始痛恨四书五经及科举制度，而且还把这种痛恨传给了自己的子孙后代。所以到了徐宏祖这里，不好好读书、不参加科举考试都不是什么大事，没有人上前劝说，反而得到父母的支持。

最关键是，徐宏祖家族虽然没人当官，但家底一直比较殷实，能够支撑徐宏祖长达二十多年的游山玩水。根据记载，徐宏祖五十四岁去世，一生共留下两百多万字的游记，可惜几经辗转只保留下来几十万字，被后人编为《徐霞客游记》。