星期日 , 12月 22 2024
首页 / 人工智能 / AI / 语言是如何把信息塞进大脑里的?

语言是如何把信息塞进大脑里的?

语言是如何把信息塞进大脑里的?

通过研究行为而不仅仅是神经元活动,科学家们正在探索大脑是如何理解语言的。

作者:JOHN RENNIE(《量子杂志》副主编,纽约大学科学写作兼职教授,曾任《科学美国人》主编,制作并主持电视节目《Hacking the Planet》),编辑:EON。

每当谈及神经科学和神经心理学研究的现状,纽约大学的教授大卫·珀佩尔(David Poeppel)从不避讳他的批评。

今年二月,他在座无虚席的美国科学促进会年会上说:“我们在数据的海洋里狂欢,但是却对真正的理论几乎毫无理解。”

他公开反对目前“瘟疫般泛滥但内容贫瘠”的实验:研究员们在毫无行为学和心理学现象的理论支持的情况下,像记件工作一样碎片化地测量大脑的结构。他表示,如果只单纯累积这种碎片化的研究,我们根本不可能完整理解思维系统。

他举了秀丽隐杆线虫(Caenorhabditis elegans)的例子。这是一种得到充分研究的线虫(一种非寄生性线虫,身体透明,常见于分子生物学和发育生物学研究)。我们已经彻底研究了秀丽隐杆线虫——它的302个神经元、所有神经元连接和全部的基因组。“但是我们仍然没有令人满意的行为模型,”他说,“我们还是缺了些什么。”

秀丽隐杆线虫

珀佩尔并不是在攻击现状。最近他的实验室完成一项基于自然行为(real-world behavior)设计的脑活动研究,在语言神经学领域发现了一些超出预期的结果。

和珀佩尔的批评类似的观点可以回溯到数十年前。在70年代,颇具影响力的计算神经科学家大卫·马尔(David Marr)表示,要想了解行为产生的原因,我们需要研究大脑和其他信息处理系统面临的具体问题和产生的具体解决方案。他称其为计算层分析(computational level of analysis)

如果只研究这个系统做什么(算法层面),或是系统怎样在物理层面实现这个目的(应用层面)是远远不够的。在马尔去世之后出版的《视觉计算理论》(Vision: A Computational Investigation into the Human Representation and Processing of Visual Information)里,他写道:“企图通过研究神经元来研究知觉,就像试图通过研究鸟的羽毛来研究其飞行一样:这不可能。”

在去年发表于《神经元》(Neuron)的一篇论文里,珀佩尔和论文的共同作者沿袭了计算层分析的传统。他们在文中探讨了那些看似“难以抗拒”,但是如果过分依赖,可能会让科研误入歧途的操控和测量大脑的工具。

很多研究试图通过定位在具体活动中放电频繁的脑区,来映射出特定神经活动和行为之间的联系。例如,研究大鼠走迷宫时如何选择时,大脑的哪些区域亮了。问题在于,只关注频繁放电的脑区的研究员们很容易忽视行为发生时其他脑区的活动,而这些活动可能跟被研究的活动一样重要。他们也可能无视这个神经活动和大鼠感到紧张的时候的神经活动一样,所以此时放电的脑区也许并非负责做选择的脑区(而是负责生成或是感受紧张的脑区)

最糟糕的情况是,如果实验室研究不具备对自然活动的代表性,这种实验很可能毫无意义。例如,在人造迷宫里大鼠的神经活动可能和在野生状态下完全不同。所以,将试验结果外推是有风险的。就算是优秀的实验设计也只能对这样的状况做有限的修正。

大卫·珀佩尔,纽约大学的心理学和神经科学教授,认为神经生理学研究应该更加注重对自然行为的理解和该行为试图解决的具体问题。

然而,珀佩尔的反对者认为,神经科学有重大进步的原因,正是来自于他所批评的那类研究。珀佩尔认可这些基础研究的重要性,但他坚持认为,如果更多研究始于对相关行为动机的系统分析,而非直接操控产生行为的神经活动的话,神经科学可以对复杂的认知和情绪现象,而不是神经和基因的细枝末节,有更加充分的研究。毕竟,注重复杂目的性的分析可以帮助研究员们设计更有效的研究。

正是这样的理由驱使着珀佩尔和佛罗伦西亚·阿萨尼尔( M. Florencia Assaneo),一位在珀佩尔实验室工作的博士后,完成一篇近期发表在《科学》杂志子刊《科学进展》(Science Advances)上的论文。他们的实验室主要研究语言处理,即 “声波如何把信息塞入你的脑子”。

当我们听人讲话的时候,耳朵将声波转化为神经信号,这些信号会被不同的脑区处理和翻译,最先处理的脑区是听觉皮层。多年的神经生理学研究结果显示,听觉皮层的脑电波会对应声波的强弱变化的频率,将听觉信号分节并锁定。基本上就是说, “脑电波像冲浪者般在声波里起伏。”大脑很可能是通过声波的强弱变化来区分音节,辨识语义,从而将长串的语言信息“分节装载”,转化为便于处理的小块信息。

人脑里的听觉和语言运动皮层。尽管语言主要发生在左半球,某些处理会发生在两个半球。

更有趣的是,一些研究发现,当人们听口语的时候,一些被“分节装载”的信号同样会出现在控制语言的运动皮层里。这样的现象几乎就像听者在无声地重复念出他们听到的话。这样的活动也许可以帮助理解语言。

然而阿萨尼尔强调,任何类似的解读都富有争议。由于在运动皮层的神经活动并不总是会发生,科学家们只能猜测而不能定论。研究员们也不知道,到底是听觉皮层直接造成运动皮层的神经活动,还是其他区域的活动同时影响听觉和运动皮层的活动。

阿萨尼尔和珀佩尔的研究方式十分新颖:他们将自然环境中的语言活动和神经生理学理论联系在一起。他们注意到,在听觉皮层里,被分节装载的信号大约是4.5赫兹,正好也是在自然环境下人们说话时念出音节的频率。

阿萨尼尔让被试者听从2到7赫兹的无意义的音节串,并测量他们的听觉和语言皮层的神经活动。使用无意义音节串是为了避免大脑产生语义解读,因为这可能会间接影响运动皮层。

她解释道:“当我们听到可以理解的声音时,神经网络会以更加复杂的方式被激活。”如果是听觉皮层的信号导致了运动皮层的活动,那么在整个实验过程中两处的信号会和彼此同步,然而如果运动皮层的神经活动独立于听觉皮层,那么前者的活动将不会随着音节的频率变化而变化。

佛罗伦西亚·阿萨尼尔是珀佩尔实验室的博士后,她运用已被理论研究证实的语言特点,寻找两个不同的大脑皮层如何共同完成解读语言的任务。

阿萨尼尔观察到的结果十分有趣,而且出乎意料。珀佩尔说,听觉和运动皮层确实保持了一定程度上的同步,但是仅仅到5赫兹的频率为止。一旦声音变化的频率超出正常口语变化的频率,运动皮层便不再与之同步。一个计算神经科学的模型之后证实,由于运动皮层本身的振荡频率通常处于4到5赫兹之间,阿萨尼尔的神经生理学的结论符合计算神经科学的模型。

珀佩尔和阿萨尼尔认为,这个复杂的结论再次证明联系行为学研究和神经科学研究的重要性。他们的实验设备有160个测量频道,而且可以将取样频率提升到1赫兹。这样的设备产生极多的神经生理学数据,而如果他们仅仅寻找数据之间的关联的话,无疑会发现一些本不存在的关联。

只有从语言学和语言行为研究的信息出发,研究人员才能够将他们寻找的数据保持在可控的范围内。在这个例子里,研究人员们需要明白4到5赫兹的频率有值得特别关注的地方。听觉和运动皮层的相互作用是如此的微妙,没有现存的理论支持的话,研究员们是不可能想到去寻找这样的规律的。

阿萨尼尔表示,他们会继续探索脑电波和语言是如何相互作用的。目前,他们期望知道类似自然语言的音节串是否会提升同步频率的上限。她说,“可理解性或注意力,很有可能会提升听觉皮层和运动皮层同步频率的上限。”

本文来自微信公众号:神经现实(ID:neureality),作者:JOHN RENNIE(《量子杂志》副主编,纽约大学科学写作兼职教授,曾任《科学美国人》主编,制作并主持电视节目《Hacking the Planet》),原文地址:https://www.quantamagazine.org/neuroscience-critics-learn-how-brain-waves-link-to-speech-20180522/,翻译:胡文嘉,编辑:EON。

关于 声波

声波
发现不同的声音

检查

OpenAI重磅发布o3,再次突破AI极限

OpenAI迎来了年底AI春晚 …

发表评论

邮箱地址不会被公开。 必填项已用*标注