日期：
2023-03-11 10:59:45
来源：集智俱乐部收集 编辑：集智编辑部
关键词：深度学习，自然语言处理，层级结构，预测编码理论
论文题目：Evidence of a predictive coding hierarchy in the human brain listening to speech 论文来源：Nature Human Behaviour 论文链接：https://www.nature.com/articles/s41562-022-01516-2 最近，自然语言处理取得了相当大的进展：深度学习算法在生成、总结、翻译和分类文本方面的能力越来越强。然而，这些语言模型仍然比不上人类的语言能力。预测编码理论（Predictive coding theory）为这种差异提供了一种尝试性的解释：虽然语言模型被优化为预测附近的单词，但人类大脑会持续预测跨越多个时间尺度的表达层次。 为了验证这一假设，这项研究分析了304名参与者在听短篇故事时的功能性磁共振成像大脑信号。首先，作者证实了现代语言模型的激活与大脑对语言的反应之间存在线性映射。其次，作者证明了用跨越多个时间尺度的预测增强这些算法可以改善这种大脑映射。最后，作者证明了这些预测是按层次组织的：额顶叶皮层预测的水平更高，范围更广，比颞叶皮层更有背景性。总的来说，这些结果强调了分层预测编码（hierarchical predictive coding）在语言处理中的作用，并说明了神经科学和人工智能之间的协同作用如何揭示人类认知的计算基础。
https://pattern.swarma.org/study_group/23?from=wechat 推荐阅读