公元8年，王莽称帝，法令苛细，徭役繁重，吏治腐败，民怨沸腾。王莽为笼络人心，曾广招天下才士。侯霸趁机出来做官了，刘秀却参加了绿林起义军，决心推翻王莽政权。严子陵当时也多次接到王莽的邀聘，但他均不为所动，最后索性隐名换姓，避居僻乡，彻底摆脱了王莽的羁绊。

公元25年，刘秀终于击败王莽，在洛阳建立起东汉王朝，当上了皇帝，这就是历史上有名的光武帝。他登基后，思贤若渴，到处寻找严子陵。几年后，得知严子陵披着羊皮隐居在齐国某个地方钓鱼，便立即派人带了聘礼，备了车子去请，一连请了三次，并亲自致书云：“古大有为之君，必有不召之臣，朕何敢臣子陵哉。惟此鸿业若涉春冰，辟之疮疮须杖而行。若绮里不少高皇，奈何子陵少朕也。箕山颖水之风，非朕所敢望。”严子陵实在推诿不过去了，才终于来到了洛阳。

这时，侯霸已经当上了刘秀的丞相。原来他在王莽失势时，便及时转舵，向起义军靠拢，以后凭着有一定能力，一步步爬了上来。他深知刘秀十分器重严子陵，所以一听到严子陵来了，不敢怠慢，马上派人携书问候。严子陵却对侯霸那种追名逐利、一味投机的行为十分鄙视，看了侯霸的信后，也不愿回信，只让来人带了两句话去，说是“怀仁辅义天下悦，阿谀顺旨要领绝”。侯霸认为这是挖他的疮疤，心中十分不满，从此便想方设法要把严子陵撵出洛阳去。严子陵则因为看到侯霸这样的人居然当了丞相，也就不愿再在洛阳呆下去，每天只在宾馆里睡大觉，等待回家。甚至当光武帝刘秀亲自来看望他，他也闭着眼睛，不理不睬。刘秀知道这位老友性情高洁、孤介，便抚着他说：“子陵呀子陵，你到底为啥不肯出来辅助我治理国家呢？”严子陵突然睁开眼来，盯着刘秀说：“唐、尧得天下，是因为德行远闻，才使隐者洗耳。你何必苦苦逼我呢！”刘秀见一时说服不了他，只得叹息着登车回宫去了。

过几天，刘秀又将严子陵请到宫中，与他谈论旧事，谈得十分投机。晚上，还与严子陵同榻而卧。严子陵在睡梦中把脚搁到他的肚皮上，他也毫不介意。不料此事被侯霸知道了，他便在第二天叫太史官上奏，说是昨夜客星犯帝座甚急，想以此引起光武帝对严子陵的猜忌。刘秀听了却哈哈大笑，说：“这是我和子陵同睡啊，没事！”然而严子陵却料定其中必有缘故，他从这件事中，看到了小人的倾轧，官场的险恶，便执意不肯再在洛阳留下去了。当刘秀还想要他做谏议大夫时，他终于不辞而行，悄然离去，隐居于富春山下。那里有个“严陵濑”，据说就是他当年垂钓之处。

公元41年，光武帝刘秀曾再一次征召严子陵，严子陵也再一次地拒绝了，并索回到故里陈山隐居起来，没过几年，便老死在这里，享年80。

北宋名臣范仲淹为此赞扬严子陵的高风亮节：“云山苍苍，江水泱泱，先生之风，山高水长”。

说到归隐，是中国古已有之的一种处世哲学。山林文学、田园诗歌……也有大量关于讴歌、抒情的作品，从中反映有人或当乱世，或不得志于当时，或不满于社会现实，就想到逃避以示“独善其身”……。

最为闻名熟悉的陶渊明，向被看作隐逸派的代表，他省悟自己“误落尘网中，一去三十年，羁鸟恋旧林，池鱼归故渊”，因而追求无拘束的自由，享受“采菊东篱下，悠然见南山”的自然乐趣。从他写的《归去来兮辞》更可看到，他之归隐以“不为五斗米折腰”为肇因，他回归田园之后却有童仆为他侍候、佣工住的环境有八九间草房，有十余亩宅地可以种植，令他回返自然得以欣喜舒畅地过着温饱的生活，摆脱世俗的纷扰。

《归田园居》尽情抒写了平静恬淡的隐士心态，比起历史上有些人“谋官谋隐两无成”所形成的烦恼，当然是两种人生的幸与不幸。