3月7日,湖北广电融媒体记者从武汉大学了解到,近日公布的全球权威自然语言处理领域-复杂语言理解测试SuperGLUE 中,武汉大学-京东可信人工智能联合研究中心组成的梦之队(JDExplore Dream Team, d-team)参与其中,其提出的升级版织女模型Vega v2超越同场竞技的谷歌、微软、OpenAI等业界顶尖企业,以总平均分91.3分登顶SuperGLUE榜首,再次刷新复杂语言理解技术世界记录。
武汉大学计算机学院相关负责人表示,织女模型Vega v2凭借60亿参数量规模大幅超过谷歌提出的5400亿超大模型PaLM的复杂语言理解性能,充分证明了武汉大学-京东可信人工智能联合研究中心自然语言理解技术水平在超级深度学习领域的全球领先地位。
织女模型Vega v2是在此前提出的模型Vega v1(15亿参数,GLUE榜单冠军)的基础上进行升级,规模更大、性能更强。不同于一昧地扩大模型规模,Vega v2更采用了一种高效的自进化学习方法,充分挖掘预训练数据中蕴含的语义知识,以进一步激发模型自然语言理解性能,从而在有限的模型规模下即可训练得到高性能语言模型。
此外,为了实现模型的快速部署,武汉大学团队还针对大规模语言模型提出了一种基于知识蒸馏的提示学习算法,仅更新额外的5%模型参数即可实现大模型的有效任务迁移。
据悉,武汉大学-京东可信人工智能联合研究中心是由武汉大学计算机学院与京东联合成立的科研机构,以从基础理论层面实现颠覆式创新为目标,共同开展科学研究与人才培养,研究领域包括可信人工智能、量子机器学习、超级深度学习及其他人工智能涉及的理论与技术。联合研究中心自2021年成立以来,已累计发表SCI一区/CCF A类期刊或会议等高水平研究论文40余篇,并在ICCV2021多目标跟踪竞赛的深度+视频大赛与全球自然语言处理领域顶级测试GLUE大赛中取得世界第一的佳绩。
来源:湖北广电融媒体新闻中心
监制:郭小容
编审:康耀方 苏逸冰
记者:吴宝洪
编辑:骆璟 张煜