我们每天都在听人说话，与人交谈。有的话你听见了，听懂了，有的话你听不懂，还有的话从你的耳边溜走了，这些都取决于我们的大脑是如何加工语音的。
浙江大学生物医学工程与仪器科学学院丁鼐研究员通过信息科学、脑科学、语言学、心理学等多学科的交叉研究，在人的脑电波中找到了一种大脑编码字、词、句的“标记”；通过分析这些脑电波中的“标记”，人们就可以判断大脑对语音的加工程度。
换句话说，通过分析你的脑电波就能知道你有没有注意听人说话，有没有听懂。这项原创方法正在被许多学者用于更深入地理解我们的大脑。
回响在大脑上空的“劳动号子”
大脑是人体最神秘的器官之一，人们常把它比作一个“黑箱”。“黑箱”里的上百亿个神经元是如何工作、如何协同的至今依然是一个谜。人类正试图利用不同的工具去认识大脑，
比如，科学家可以在微米尺度下去研究单个神经元的兴奋或静息，或者神经元内部信号通路的激活与抑制。在宏观尺度，由于每个神经元在活动时都会微弱放电，千百万个神经元的“动静”就会引起头皮外的电磁场波动。这种波动可以被脑电帽捕捉到，并通过脑电图（EEG）和脑磁图（MEG）等技术进一步加以分析。这类诞生于上世纪30年代的技术，由于它的非侵入式和便捷性的优点，被科学家广泛用于研究人类的大脑。
脑电图
“如果我们把每个神经元想象成大脑里的‘打工人’，那么大脑显然是一个拥有海量工人的大工地。脑电、脑磁技术观测到的电磁活动就类似工地上的‘劳动号子’。”丁鼐说，脑电反应的不是单个工人的吟唱，而是一个群体的“合唱”。当大脑这个“工地”在执行不同任务时，回响在空中的劳动号子也有所不同。
丁鼐第一次接触脑电是在浙大测控专业读本科时，他作为志愿者参加了一次脑电实验。想法变了脑电波就会变吗？当时的他以为，这种改变就像风在湖面吹起涟漪那样明显：最喜欢那一首歌？今天晚上吃什么？或者干脆什么也不想。他努力地切换着脑中的想法，但脑电波显示看不出明显区别。
脑电波中的关键信息隐藏在哪里呢？这个问题在丁鼐心中埋下了一个好奇的种子。当年的丁鼐或许没有想到，几年后的他会以研究这些大脑上空的“劳动号子”为乐，并创造出一种新颖“解码”工具，从“劳动号子”中推敲人的意识状态。
脑波里的“韵律”
自从有了头皮脑电技术，人们就它当做一个收音机，去“收听”大脑内部发出的电波了。最早被人类“收听”的是阿尔法波（α波），这是一种频率在10Hz左右的具有一定规律性的脑波，在我们闭眼或者放松时更为明显。
此后，科学家也试图捕捉大脑如何对外部 “事件”做出响应，比如我们听“滴”的一声或者看到一幅画的时候会产生什么脑电波。这些研究聚焦于被一个短暂的“事件”诱发的“事件相关响应”，但是我们日常生活中所听到、所看到的都是持续变化的信息，看清脑电波与连续变化的感觉信息的对应关系还隔着重重迷雾，需要寻找新的突破口。
丁鼐的博士阶段是在美国马里兰州大学电子工程学系度过的，他发现身边有许多信息科学与生命科学的交叉研究。比如他所在的实验室，就是利用信号处理技术来解析大脑的听觉加工机制。而他自己的博士课题则把视野聚焦到语音，探索脑电波与大脑加工语音之间的联系。
博士期间，他发现脑电波中的一个成分可以实时跟踪语音听觉特征，而且这种脑电波很强地受到注意调节。比如，同时听两个人讲话时（比如一只耳朵听网课，另一只耳朵接电话），这两个人不会对脑电波造成同样的影响——脑电波会更好地跟踪被注意的说话人的听觉特征，因此通过观测这种脑电波就可以知道一个人有没有注意听你说话。
学界认为，这项研究为设计解码听觉注意的脑机接口提供了新方法。丁鼐觉得往前还有巨大的探索空间：“加工语音的听觉特征只是理解语音的第一步，如何从听觉特征中解读语言信息更为关键。”
语言、语音与脑波
从语言信息的组织形式看，人类的语音是按照多个层级来组织的：字、词、短语、句……比如，汉语拼音中几十个音就可以组成上千个字，进而可以组成数万个词汇和无穷无尽的语句，正是这种层层组装的特征奠定了语音灵活表义的基础，是人类语言独一无二的特点。
人脑是如何加工不同层级的语言单元的呢？有一天丁鼐突发奇想，语言中的字、词、句具有不同的节律——人每秒钟可以说四五个字，但是几秒钟才说出一个句子；那么会不会加工字的脑电波和加工句子的脑电波也具有不同的节律呢？他想到了中文世界的成语，“成语是最典型的一类词语，或许我可以从成语开始。”他很快设计了一个实验，自己做被试，让机器播放含有成语的连续语音，“结果出乎意料得好，脑电波中出现很强的与成语节律共振的成分。”
图：大脑从语音中识别出一个个的字，又进一步把字组合称为词。这一过程中，大脑中的西塔波与字同步（黑色曲线所示），而德尔塔波与词同步（蓝色曲线所示）。
初步实验的成功给了丁鼐很大信心，基于一系列的进一步实验研究，2016年丁鼐在Nature Neuroscience杂志发表了他的研究结果：理解一段语音时，我们的大脑产出了不同节律的脑电波，这些不同节律的脑电波分别与字、词、句等不同大小的语言单元耦合，可以看做大脑加工这些不同大小语言单元的“标记”。有了这些“标记”就可以分别分析大脑如何加工不同的语言单元。
简单来说，“绵羊吃草”是四个字，但也可以看做两个词组（“绵羊”“吃草”），还可以整体看做一个句子。中国人听到这四个字的时候，既产生了对每个字的响应（一共四个这种响应），也产生了两个对短语的响应，还产生了一个对整体句子的响应。但是，对于听不懂汉语的人，他们的大脑只产生了对每个字的响应，并没有对词句的响应——因为他们不知道哪些字可以组成词句。
对于一门语言，听得懂或者听不懂，脑电波就能“暴露”出来。研究论文揭示了脑电波的节律与语言层级之间的对应关系，在学术界引起了广泛兴趣，不同国家的实验室在不同的语种体系中对丁鼐的发现进行了验证与发展。人们逐步发现，人脑对于语音的层级加工是普遍存在的。英语、法语、德语、俄罗斯语甚至希伯来语……，陆续都找到了脑电波对于语音不同层级进行编码的“标记”。
截至目前，丁鼐的这篇关于语音节律的论文已被引用800多次。信息工程和神经语言学碰撞时发出的火花，有望照亮大脑“黑箱”的一角。
预测大脑
临床医生和脑科学家也关注到丁鼐的这一发现。2016年，中科院神经科学研究所的王立平研究员与丁鼐取得了联系，提到他们与复旦大学附属华山医院的毛颖、吴雪海医生团队合作进行的意识障碍研究，希望丁鼐的这项发现能在临床研究上发挥作用。
每年我国有近10万患者因颅脑外伤、脑卒中等原因而陷入“植物人”状态——他们有基本的睡眠-觉醒周期，但是不能对外界刺激做出反应。他们到底能不能听见亲友的声音，能不能醒来，这样令人揪心的问题对医生来说也是很难判断的。目前来说，评估患者的预后主要依赖于有经验医生的观察和量表评分，具有较大的主观性，其误诊率高达40%。而其他脑电和脑成像方面的探索也还处于初级阶段，缺乏相应的神经指标。
“植物人”无法说话，他们是听懂了说不出，还是根本听不懂呢？能听懂的和不能听懂的“植物人”会不会有不同的预后效果，是否需要不同的干预策略？由于丁鼐此前发现了“字、词、句”等多层级语言加工的神经“标记”，这些“标记”可能可以揭示“植物人”只听到了一个个字，还是可以把字组合成为词句。经过5年的合作与摸索，研究团队终于在2020年在Nature Neuroscience公布了他们的研究：
针对“植物人”患者，研究人员为他们播放语音并记录其脑电波。一部分患者表现出微弱的、与词句相关的脑电波，这些患者有更高的概率在100天后表现出明显的意识恢复；而另一部分患者仅表现出音节相关的脑电波，这些患者意识恢复的概率更低。结合机器学习的方法，研究团队发展出一种可以预测患者意识恢复概率的方法，准确率达到80%。
这项研究意味着，科学家找到了一种新的客观的评估大脑意识水平的指标。鉴于其在临床上的突破性价值，这项研究被中国神经科学学会列为2020年度“中国神经科学重大进展”。
勾线画《满船清梦压星河》 作者：孟雨
重塑大脑？
2022年9月的一天，丁鼐接到了《麻省理工科技评论》一位科技记者的电话：“能不能请您说一说，人处于最小意识状态时，大脑是什么状况，还在进行学习吗？”记者的这通电话，起因是他读到了丁鼐和浙大医学院附属第一医院神经内科罗本燕医生合作，最新发表在Cerebral Cortex杂志的研究论文，在论文里，他们报告了关于最小意识状态患者进行语言学习的最新研究进展。最小意识状态患者是具有一些基本响应能力的患者，但是依然无法与人交流，无法使用基本工具。
图：丁鼐的合作者罗本燕医生在研究中
准确评估意识状态是诊断“植物人”以及最小意识状态患者的关键，但是诊断之后如何唤醒这些病人则是更重要的问题。如果要唤醒“植物人”，必须要诱发患者脑网络的重塑，对于正常的大脑，学习是重塑大脑的一种有效方法，那么植物人的大脑还能不能进行学习呢？丁鼐与浙江大学罗本燕医生都对这个问题感兴趣，于是展开了新的合作。
如果我们把最小意识状态患者当做刚刚学习语言的孩子，为他们创造一个合适的语音环境，他们能像孩子一样学习语言吗？发展心理学的研究显示：人类幼崽在8个月时开始学习语言了，虽然还没开口说话，但是他们的大脑已经在悄悄分析语言中的统计规律。比如，当小娃娃经常听到“煲、仔、饭”三个字经常一起出现，大脑就会逐渐把“煲仔饭”当做一个特定组合——一个词。有点像我们平时所说的“念念不忘，必有回响”，这种分析、学习语言中统计规律的能力贯穿于我们的一生。
那么对于最小意识状态的患者，他们的大脑还能否学习语言呢？丁鼐与罗本燕医生设计了一种人工语言，里面有一些随机音节构成的词，比如“bīdākū”。患者显然并不知道这些词，但是实验发现，当患者在连续收听十几分钟这种人工语言之后，他们的脑电波中也出现了“bīdākū”这些词的响应。也就是说，通过十几分钟的“磨耳朵”，患者的大脑已经学会了一些新词。“是的，他们还在进行统计学习。”面对科学记者的提问，丁鼐给出了肯定的答案。
《麻省理工科技评论》相关报道截图
既然在意识障碍的情况下，大脑仍能进行学习，那么我们是否可以乐观地展望，不久的将来，我们可以基于这一机制去帮助大脑的重塑或恢复？除此之外，大脑还有哪些未被揭示语音加工机制？这些从大脑中揭示的机制，是否能够启发新型神经网络的开发？在未来，仍有许多谜题等待科学家一步步揭开，丁鼐也将在脑电波的迷宫里继续穿行，追寻大脑编码信息的蛛丝马迹……
参考文献
Ding, N., Melloni, L., Zhang, H., Tian, X., and Poeppel, D. (2016), Cortical Tracking of Hierarchical Linguistic Structures in Connected Speech. Nature Neuroscience 19(1), 158-164
Ding, N. and Simon, J.Z. (2012), The Emergence of Neural Encoding of Auditory Objects While Listening to Competing Speakers, Proceedings of the National Academy of Sciences (PNAS) 109(29), 11854-11859.
Gui, P., Jiang, Y., Zang, D., Qi, Z., Tan, J., Tanigawa, H., Jiang, J., Wen, Y., Xu, L., Zhao, J., Mao, Y., Poo, M., Ding, N., Dehaene, S., Wu, X., and Wang L. (2020), Assessing the Depth of Language Processing in Patients with Disorders of Consciousness. Nature Neuroscience 23, 761–770
Xu, C., Li, H., Gao, J., Li, L., He, F., Ye, J., Ling, Y., Gao, J., Li, J., Melloni, L, Luo, B., and Ding, N. (2022), Statistical learning in patients in the minimally conscious state, Cerebral Cortex doi:10.1093/cercor/bhac222
本期推荐 | 浙江大学学术委员会委员 张宏教授
文 | 周炜 张建新
图 | 课题组 pixabay 网络
编辑 | 周炜
来源 | 浙大学术委员会
“求是风采” 是浙江大学学术委员会面向浙大师生的科学传播平台，其子栏目包括面向青年学者的“青稞”有约，和面向研究生的一作分享等，旨在传播浙大高水平学术成果，增进不同学科间相互了解，活跃学术氛围，引领师生成长。
欢迎浙大学者通过推荐或自荐的方式，在这里解读学术进展，分享科研心得、展示团队风采、交流学术见解！