服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

后GPT时代关于因果性、不变性和异质性的探讨丨后ChatGPT X 因果科学 梦幻联动

日期: 来源:集智俱乐部收集编辑:集智俱乐部


导语


集智俱乐部的“后 ChatGPT”读书会由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起,旨在系统性地梳理ChatGPT技术,并发现其弱点与短板。同时,结合集智俱乐部常年来积累的各种人工智能技术讨论,展望后GPT时代的人工智能都有哪些可能性?


本周五将进行该系列的第三次分享,也是后chatGPT读书会与集智因果科学读书会的联动,围绕因果科学的主题展开交流互动。本报告中,崔鹏老师回顾将因果统计思想引入机器学习的研究历程,并重点介绍利用不变性和异质性提升机器学习分布外泛化能力的最新研究进展。





与读书会整体主题之间的关系




近年来人工智能技术的发展,包括以GPT为代表的大模型,在诸多领域取得了性能突破。但当我们将这些系统或技术应用于医疗、司法、工业生产等风险敏感领域时,发现当前人工智能在稳定性、可解释性、公平性、可回溯性等“四性”方面存在严重缺陷。究其深层次原因,当前统计机器学习的基础——关联统计自身不稳定、不可解释、不公平、不可回溯可能是问题的根源。相对于关联统计,因果统计在保证“四性”方面具有更好的理论基础。但如何将因果统计融入机器学习框架,是一个开放并有挑战的基础性问题。





主要涉及到的知识概念




  • 因果关系:causality
  • 因果统计:causal statistics
  • 稳定性:stability
  • 可解释性:interpretability
  • 公平性:fairness
  • 可回溯性:traceability
  • 不变性:invariance
  • 异质性:heterogeneous




分享简介




本报告中,崔鹏老师回顾将因果统计思想引入机器学习的研究历程,并重点介绍利用不变性和异质性提升机器学习分布外泛化能力的最新研究进展。




分享大纲




一、因果推断融合机器学习的发展历史

二、分布外泛化与不变性和异质性

三、因果推断与不变性的等价关系

四、异质性中的不变机制

五、展望后chatGPT时代的因果科学





主讲人




崔鹏,清华大学计算机系长聘副教授,博士生导师。研究兴趣聚焦于因果启发的稳定预测和决策、大规模网络表征学习等。2016年开始将因果统计思想与机器学习框架进行融合性研究,提出并发展了因果启发的稳定学习理论方法体系,在智慧医疗、互联网经济等场景取得显著应用价值。在人工智能领域顶级国际会议发表论文100余篇,先后7次获得国际会议或期刊论文奖。担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD、KAIS等国际期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、CCF-IEEE CS青年科学家奖;入选中组部万人计划青年拔尖人才,ACM杰出科学家;担任第九届科协全国委员会委员,CCF YOCSEF第二十三届学术委员会主席。




直播信息




时间:
2022年3月24日(周五)  晚上 19:00-21:00

参与方式:

扫码参与读书会,加入群聊获取本系列读书会的视频回放权限、资料权限,与社区的一线科研工作者和企业实践者沟通交流。





概念解析




1. 什么是分布外泛化问题(Out-of-Distribution Generalization)?

人工智能非常依赖于独立同分布假设(Independent and Identically Distributed, I.I.D),这是它存在局限性的主要原因。该假设要求训练模型时的数据分布和测试模型时的数据分布是同一个,这样才能保证机器学习的模型的性能。但是在真实开放的世界中产生的数据和训练数据的分布是不同的。这给机器学习模型的真正落地带来非常大的挑战。

在这种情况下,模型就会面临着Out-of-Distribution Generalization问题,即对于新的、未曾见过的输入,模型可能会出现不可预测的行为,导致其性能下降。这是因为模型在训练时并没有学习到这些新情况的特征和属性,因此无法正确处理这些情况。Out-of-Distribution Generalization问题是深度学习中一个非常重要的挑战,因为模型的泛化能力是评估模型质量的一个重要指标。

2. OOD泛化与传统机器学泛化的区别?

OOD泛化(OOD Generalization)和传统机器学习的泛化存在差别。OOD泛化更多的是外插问题,而传统机器学习的算法更多的是研究内插问题。如何理解内插和外插的区别呢?

用技术上的语言来描述就是,用回归方程预测样本数据范围以外的数值称为外插法,而内插法则是在样本数据的范围内预测。我们举个例子,有一个男生和女孩说,你昨天没有男朋友,今天你有一个男朋友。这是发生的事实,如果我们做内插,就相当于昨天晚上你大概有0.8个男朋友;如果我们做外插,那就是在本月底的时候你大概要有 30个男朋友,这就是一个非常有风险的做法。

今天的数据采集能力已经很强,但当真正落地时,会发现还是没有办法去覆盖所有的可能情况。如果想要解决真实世界的问题,就一定还要有外插的能力,而这恰好是今天的机器学习所不具备。外插非常有挑战性,并且风险极大,它需要一个非常强的前提条件。

图3 不变性

外插的基础是不变性(Invariance)。中国哲学有一句话叫做以不变应万变,这就是在做外插。

所以在OOD问题的核心,就是要找不变性(Finding Invariance),在找到不变性后,用不变性做预测。

想要了解更多OOD泛化的技术方案,请听崔鹏老师的报告分享。同时可以查看更多的资料进行提前学习:

推荐崔鹏组的研究梳理:
崔鹏:稳定学习——挖掘因果推理和机器学习的共同基础
崔鹏团队:万字长文梳理「稳定学习」全景图


集智百科词条“稳定学习”:https://wiki.swarma.org/index.php/%E7%A8%B3%E5%AE%9A%E5%AD%A6%E4%B9%A0_Stable_Learning


“后ChatGPT”读书会启动


集智俱乐部的“后 ChatGPT”读书会由北师大教授、集智俱乐部创始人张江老师联合肖达、李嫣然、崔鹏、侯月源、钟翰廷、卢燚等多位老师共同发起,旨在系统性地梳理ChatGPT技术,并发现其弱点与短板。同时,结合集智俱乐部常年来积累的各种人工智能技术讨论,展望后GPT时代的人工智能都有哪些可能性?读书会自2023年3月3日开始,每周五晚上举办,持续时间预计6周,欢迎对本话题感兴趣的朋友报名参加!


详情请见:
“后 ChatGPT”读书会启动:从通用人工智能到意识机器


因果科学读书会第二季


哥伦比亚大学 CausalAI 实验室主任 Elias Bareinboim 在其 ACM 邀请文章中提到:“如果我们希望下一代人工智能系统是安全的,稳健的,与人类兼容的,提升人类社会福祉的,那么把因果之梯和人类经验连接起来是至关重要的步骤”。回顾人类从亚里士多德开始的 2000 多年的因果研究历程,探求事物之间的因果关系是哲学、自然科学和社会科学等众多研究所追求的终极目标。那么如何让 AI 系统超越曲线拟合,攀登因果之梯思考为什么,并使用因果建模回答因果问题?是本次读书会希望解决的问题。


详情请见:

连接统计学、机器学习与自动推理的新兴交叉领域——因果科学读书会再起航


点击“阅读原文”,报名后ChatGPT读书会

相关阅读

  • 未来10年内,谁将成为中国的ABB

  • 头图丨《流浪地球2》剧照想象一下未来世界中无处不在的机器人,它们带有高科技的机械臂和自主操作系统,可以保障人类的生命安全,支撑着海量数据平稳运作,有条不紊地搬运物料。在
  • 国产移动机器人,助力芯片制造智能化升级

  • 当前,半导体新建工厂以提高产能需求愈发迫切,而在其背后,制造厂商普遍面临稳节拍、去库存、增柔性、保质量的挑战,通过移动机器人完成物流自动化改造,实现工厂的智能化升级,正成为
  • 生产性服务业发展提速 持续激发新动能

  • 在南京紫金山实验室,科研人员攻坚克难,不久前创下了6G传输速率全球最高纪录;“无人工厂”全天候不间断生产、“机器人同事”包揽重活累活、“透明化生产线”监测全流程作业数据
  • ChatGPT给专业机器翻译带来的机遇与挑战

  • ChatGPT的火已经蔓延全球,似乎就在那么一瞬间,点燃了各行各业对其技术应用的探讨与展望。大家都想基于自己的行业属性在ChatGPT上做加法,甚至乘法。对于机器翻译而言,自然也
  • PNAS速递:真实有向网络的强连通性

  • 关键词:网络连通性,渗流理论,临界相变,网络韧性,营养一致性论文题目:Strong connectivity in real directed networks论文来源:PNAS论文链接:https://www.pnas.org/doi/10.1073/pnas

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 复杂科学的信息论基础——最大熵原理

  • 导语建模和推断是大多数科学领域的核心,尤其是对不断发展的复杂系统。关键是,我们所拥有的信息往往是不确定的和不充分的,从而导致欠定推理问题(有无穷多解的问题);多种推理、模型
  • 明天夜间有雨夹雪或雪,周六降温!出行请注意

  • 今天17时,北京市气象台发布最新天气预报:今天夜间多云转晴,北风二三级间四级,最低气温4℃;明天白天晴转多云,北转南风二三级,最高气温12℃。夜间气温较低,需注意添衣保暖;明天夜间山
  • 建设农村能源革命试点县!四部门重磅发文

  • ·会议推荐《2022年风光项目开发地图》《2022年企业风光项目清单》咨询电话:18911205173(微信同号)3月23日,国家能源局等四部门发布《国家能源局 生态环境部 农业农村部 国家乡