1910年9月14日，霍元甲在上海逝世。霍元甲遇害考验着霍家子孙。当时，他有两个儿子和两个女儿，长子霍东章，次子霍东阁，大女儿霍东茹，二女儿霍东玲，另有一个女儿霍东琴还在王氏腹中。王氏硬是克服一切困难把孩子拉扯成人。长子霍东章一直在家务农，次子霍东阁就接下了父亲未竟的事业。

当时，精武会风雨飘摇，面临着解散的危险。农劲荪等人立即北上，将霍元甲的弟弟霍元卿和儿子霍东阁接到上海任教练。霍东阁虽然只有16岁，但武艺过人。他一边教授学员武功，一边自学深造。在霍元卿和霍东阁的努力下，精武会学员的武功有了很大长进，再加上农劲荪、孙中山等人的经济支持，精武会好不容易渡过了危难。

霍元甲曾孙霍自正

继霍元甲之后，霍家后代中公认的传奇人物便是霍东阁。在他的管理下，精武会发展壮大得很快，先是在上海成立了三个分会，之后又在汉口、广东、香港等地建立分会。1919年，25岁的霍东阁来到广州。据霍自正回忆，霍东阁在广州海军总部任教时，当时控制整个广州的军阀陈炯明对他极为器重。但让霍东阁没有想到的是，到了最后，陈炯明背叛孙中山，官兵集体发动叛乱，这让霍东阁心里极为后悔，于是想离开广州，到南洋去闯荡闯荡。

霍东阁一生有三个儿子和一个女儿，儿子雅亭、文亭、文亮和女儿月华。雅亭、文亭是他和中国妻子的孩子，而文亮、月华是他在印尼和第二任妻子生的孩子。霍自正是次子霍文亭之子。

在霍自正看来，霍东阁选择去南洋，“是因为当时那里信息隔绝，印尼爪哇岛上居住的很多华人都不知道精武会。他希望把这个地方当成一个切入口，让精武会走出国门”。最初，霍东阁一家遭了不少罪。“爷爷刚到爪哇泗水传扬武艺时，人们都把他当做江湖卖艺的。他白天在中华、振文学校教国操和技击术，晚上在烟草公司教职员，全部都是义务的。他身上的钱越来越少，那是他最窘迫的时期。”

不过，在一次募捐演出中，霍东阁的助演轰动了泗水城。他对华侨们高呼：“我知道你们都是热心爱国的，读书不忘国文，讲话不忘国语，唱歌不忘国歌，但可惜的是，大家还缺少一样东西，就是中国的武术。”后来，泗水的新闻界、教育界开始关注这位宣扬国粹精神的武术后代，并对他大力宣传，借助这个机会，霍东阁在泗水站稳了脚跟。

在泗水，霍东阁不仅将精武精神发扬光大，还成了名医。霍自正称，霍家有祖传的接骨疗伤秘方，还有一种自制奇药“神力丸”，常吃可以增长气力。靠着家传秘方，再加上自学研制，霍东阁成了爪哇岛的着名医药师。“那里的霍家后代如今生意做得最大的，就是祖父创下的药业集团。”1960年，霍东阁在印尼万隆去世。

不过，从霍东阁离开后，“霍家在国内的人与精武会就没什么联系了，大部分人都在务农。”霍自正说。

在霍自正看来，霍元甲后辈中，只有自己的侄女霍静虹还在从事和武术相关的职业，在天津财经学院当武术老师。“但她练的也不都是霍家功夫，霍家后代里没有高手，都只是喜好，毕竟大家都忙着挣钱嘛，练武没有太多的经济来源。霍家武功没有被后代很好地继承。”霍自正坦诚地讲。霍自正现在是村里霍元甲文武学校名誉校长。他的一儿一女都成了家，开了几家服装店。