2023年3月3日晚7点，由信息科学技术学院主办的“信科E席谈”青年学术沙龙第七期活动在理科二号楼2129报告厅顺利举办。北京大学计算机学院研究员、助理教授、博士生导师、博雅青年学者仉尚航老师受邀进行了以“迈向开放环境泛化机器学习”为主题的学术分享，40余名名师生到场聆听。本次活动由学院团委副书记丁倩主持。

分享主要从人工智能发展简介、研究成果介绍、个人经验与感悟三个方面展开。

仉老师首先简要回顾了人工智能的发展历程，然后介绍了部分人工智能的最新进展和应用，并以北大研究者用全AIGC流程创作的实验动画《地球爱情终曲》为例，向同学们展示了人工智能的多样功能和强大力量。

接下来，仉老师向同学们介绍了有关开放环境泛化机器学习的研究。

以机器学习为重要内核的人工智能在各个领域都带来了成功。然而，已有的机器学习的方法往往针对于封闭环境，需要满足测试样本和训练样本尽量一致（独立同分布）的闭集假设，以及待分类或识别的类别有充足训练样本的大样本假设。人工收集和标注的训练数据因需求巨大而极其昂贵，而模拟训练数据虽然较易得到，但难免与真实数据之间存在差异，容易导致测试准确率下降。而且，两种数据都难以涵盖所有不同场景和事物。现实世界中的机器学习则需要面对开放的、真实的、动态的环境，面临着以下两个关键挑战：开放环境中广泛存在着大量数据域偏离，已有工作难以适应新数据域，对新场景进行准确理解；开放环境还有新的类别动态出现，无法及时获得标注，已有工作难以在少量标注下准确识别新事物。开放世界中的事物往往符合长尾分布，正是“长尾”中动态出现的新事物为已有的机器学习模型带来了很大的困扰，使模型的效果显著下降。例如，全球已有数起由新场景识别失误引起的自动驾驶事故。这些事故的发生，暴露了已有机器学习模型泛化能力差，难以适应新环境的问题。产生人类智能的人脑具有系统性泛化能力，能够通过模块化组合旧概念快速学习新概念。为了让机器能像人一样在有限标注下适应新环境，识别新事物，需要研究开放环境泛化机器学习的问题。

仉老师及团队在有关领域取得了多项研究成果，开发了一系列理论和算法。在泛化到新数据域（适应新环境）方面，进行了脑启发数据域自适应的研究，在因果解耦数据域自适应领域取得重要成果；在泛化到新事物（识别新事物）方面，进行了脑启发有限样本学习的研究，在组成型小样本学习和多模态有限样本学习方面取得了突破。

因果解耦数据域自适应理论算法研究，受限于封闭实验条件，已有工作在数据域漂移下准确率显著下降。例如，在旧金山街景数据集上训练的模型不能很好地完成在欧洲街景中分辨物体的任务。机器泛化能力的缺失，与机器没有人类“透过现象看本质”，挖掘真正影响最终预测的因果特征，摆脱非因果环境特征的影响的能力有关。在人眼中，一头熊所以是熊与它处在草地或雪地上无关，而与它特定的形状和轮廓有关。草地、雪地等环境特征是非因果特征，而形状和轮廓才是真正决定一头熊的因果特征。仉老师及团队从因果特征挖掘的角度出发，为目标域上的误差提出了同时适用于分类和回归问题的新的泛化上界，首次将特征不变性和风险不变性统一在同一个理论框架，与已有理论研究形成了鲜明对比，也为增强泛化能力提供了新的设计原则，启发了新的理论研究思路。同时，团队基于该理论提出了首个同时学习特征不变性和风险不变性的半监督领域自适应算法，该算法挖掘可以同时最小化源域与目标域特征距离和最优分类器距离的因果特征，具有信息论可解释性，在各个数据集上得到了超越基准线的成绩，甚至可在无标签或有少量标签的情况下得到与内容有大量标签时相当的表现。此外，仉老师和团队还系统性地研究和提升了Transformer的泛化能力，并提出了稀疏注意力建模技术，突破了传统循环神经网络的误差累积困难，与此同时将预测速度提升了50倍，预测误差降低了60%。

脑启发组成型小样本学习。认知神经学研究表明，人类具有的组成型识别能力可以帮助其在小样本情况下准确识别新的事物。仉老师及团队受到有关生物机理启发，创新地提出基于基元发现与增强的组成型小样本学习算法来模仿人的学习能力，进行小样本识别。基元发现阶段基于自监督学习，不依赖部件标注地学习物体的基元和结构，如发现动物的脖子、头部、四肢、长尾等身体结构；基元增强阶段则模仿神经学机理赫布学习理论（Hebbian Learning Rule）和赢者通吃（Winner-Take-All）机制，创新地提出增强重要基元响应，抑制非重要基元响应的软组成学习机制，如见到一张新的恐龙的图片时，将过去的基元组合在一起，并且增强和恐龙最相似的那些基元。该工作在图片分类和视频识别等多个公开数据集上取得了世界领先结果，而且具有更好的可解释性。此外，该工作模仿大脑学习机制，增强了机器学习泛化性，减少了对标注数据的需求，为推进人脑启发的强泛化学习迈出了重要一步。

脑启发多模态有限样本学习。多模态认知系统使人类可以在没有外部训练的情况下进行自学习。受此启发，仉老师及团队提出了一种新颖的“全相关增益最大化”信息论框架来挖掘多种模态间的相关性，通过最大化多模态全相关增益，使不同模态协作式地发现信息交集。团队首次在理论上证明，此种全相关增益的最优分类器在某种置换方程下与每种模态的贝叶斯后验分类器等价，利用有限的标注数据，可以识别出唯一对应的贝叶斯后验分类器。这一工作也取得了较好的成果。

综合来说，以上一系列促进模型在开放世界中适应新环境和识别新事物的研究，目标在于解决理想封闭环境和真实开放环境之间的两大挑战——数据域偏移（Domain Shift）和类别偏移（Category Shift）。二者分别反映了新数据的出现和新事物的出现。研究者希望设计一个具有泛化能力的模型来跨越这两大挑战，跨越开放世界和封闭世界的鸿沟。然而，机器学习并没有适用于所有情况的通用算法，一类算法往往只适用于一类情况。为了让机器学习模型在特定情况下表现出色，需要人为引入知识先验（Inductive Bias）。仉老师指出，过去的一系列工作都是在设计好的知识先验，在未来的研究中也要进一步探索这个方向，要进一步地学习更好的像人一样的知识先验。为了这个目标，仉老师提出了人机混合增强智能的研究思路。比如，在世界上首起致人死亡的无人驾驶事故中，车辆未能识别夜间行人推车横穿高速公路的突发情况，而车内人员也因走神错过了手动避免事故的机会。这个例子说明，人不是万能的，机器更不是万能的，但如果设法让人提升机器的大脑，机器提升人的感官，也许能够实现优势互补，彼此增强。在自动驾驶方面是如此，在其他领域更是如此。在未来的研究中，为了更好地引入人的知识先验，我们可以索性将人引入回路，通过“人在回路”增强机器智能。

最后，仉老师分享了自己求学和研究之路上的一些感悟与心得。仉老师的求学之路充满艰辛和曲折，但她通过不断的努力克服了重重困难，并取得了优秀的成绩。回首往事，仉老师建议同学们如果想了解信息，一定要多加询问，以免错失良机；但也不用操之过急，因为所有的努力都会有好的结果，即使中间结果不尽人意，相信前程也会越来越好，值得更加努力地争取。人生的路很长，是一个需要不停思考和努力的过程，每个人每三五年也许就会面临一次选择。仉老师建议同学们在面临选择前首先争取机会，不让过虑耽误时间；希望同学们在每一个“三五年”都可以认真地去争取，再仔细地去思考，然后去做一个好的选择，希望同学们每一步都可以比以前更进一步。最后，仉老师鼓励同学们认识到人与人的不同，发掘他人和自己独特的优势，不轻易地否定自己，找到适合自己的路线。只有做自己最感兴趣的事情，才能做得更好。

活动在同学们热烈的掌声中圆满结束。

向右滑动查看更多图片~

“信科E席谈”青年学术沙龙会在本学期持续开展，邀请信息学科领域优秀青年教师为本科生介绍信息技术学科和产业发展热点和前沿话题，分享青年教师的学术成长发展道路，引导信科青年学子，特别是低年级本科生一方面开阔学科视野，增进专业认知，寻找未来感兴趣的发展方向，另一方面坚定学科理想和学术追求，规划好学习科研的方向和计划，自觉将个人的学习成长与北大“新工科”建设发展战略、与世界信息科技前沿和产业发展、与国家重大战略需求紧密结合在一起，努力培养专业基础宽厚、创新能力突出、意志坚定、视野开阔的信息领域高层次人才。