语音信息对汉语词汇语义激活的ERP研究

沈莉 任桂琴 高晗 王露

（辽宁师范大学心理学院，116029）

摘 要:从汉语词汇的听觉加工入手，利用汉语不同于非声调语言的特点，通过变化词汇的元音、辅音和声调考察这三类语音信息在汉语词汇语义激活中的作用。采用erp方法，结合LORETA 源定位技术，通过被动的oddball范式，考察在早期自动加工过程中，语音信息对汉语词汇语义激活的作用和语音信息加工的大脑激活模式

教育期刊网 http://www.jyqkw.com
关键词 ：语音信息，ERP，LORETA

前言

在语言学中，每个音节包含两个语音单元：音段信息（即构成音节的单个音位信息，如元音、辅音等）和超音段信息（即由音位或音位群负载，包括音高、强度、时长等声音线索，如声调，重音等），超音段信息也被称作词汇的韵律信息。汉语作为声调语言的一种，每一个音节由元音、辅音、和声调组成，其中元音和辅音为音段信息，声调为超音段信息。音段信息和超音段信息统称为语音信息。

语音信息在大脑中的长时记忆痕迹首次在以芬兰语为实验材料的研究中发现，后来在以英语和德语的实验材料的研究中得到进一步的验证。这些实验都采用被动的oddball范式，通过变化不同的语音信息(元音和辅音)形成真假词，通过比较真假词诱发的失匹配负波（themismatchnegativity，MMN）波幅，当真词诱发的MMN波幅大于假词诱发的MMN时，反映了真词在大脑中长时记忆痕迹的激活。通过真词的长时记忆痕迹的激活反映了不同语音信息对词汇语义的激活。

失匹配负波（themismatchnegativity，MMN）是反映听觉刺激早期加工的独特指标，这一指标被越来越多的用于考察言语加工的神经机制。（Naatanen2001;PulvermullerandShtyrov2006)。MMN由在标准刺激序列中偶尔出现的偏差刺激引起。最重要的是MMN的引起不需要意识的参与，即使在不被注意的情况下，偶尔出现的偏差刺激也能引起MMN，所以MMN被看作是听觉刺激早期自动加工的重要指标。

1问题提出

1.1元音对词汇语义激活的作用

1.2辅音对词汇语义激活的作用

不管是在声调语言还是在非声调语言中，都极少存在可以脱离元音而单独存在的辅音，辅音若脱离了元音单独存在则很可能被识别成非语言，因此辅音对词汇语义的激活常通过音节的形式表现。

Pulvermuller等人（2001）以芬兰语中的音节/va/、/la/和/ki/、/ko/、/ke/组成的真假词为实验材料，分别考察母语为芬兰语和非芬兰语的被试大脑中词的长时记忆痕迹。采用被动的oddball范式，在给被试呈现听觉刺激的同时，让被试观看无声电影。实验结果发现，真词诱发的MMN的波幅都显著大于声学属性上匹配的假词诱发的MMN。

罗浩等人（2006）以汉语普通话为实验材料，考察汉语声调和辅音在早期自动加工中的神经机制。他们认为语音信息的加工分为两个阶段，分别是声音物理特性的加工和语义信息的加工。而在语义信息加工的过程中，辅音和声调所携带的语义信息都能够被自动激活。

1.3声调对词汇语义激活的作用

大量关于MMN的研究都发现了元音和辅音（音节）在大脑中都有长时记忆痕迹（Naataneneta1．，1997；Phillipseta1．，2000），即元音和辅音可以自动激活词汇语义信息。那么声调在大脑中是否也有长时程记忆痕迹，是否也能自动激活词汇语义信息呢？

Chandrasekaran等人（2007）以汉语普通话为实验材料研究声调对词汇语义激活的作用。实验采用两类，一类母语为汉语，另一类母语为英语。实验采用oddball范式，共有两个oddball序列。在一个oddball序列中以汉语音节/yi1/为标准刺激，/yi3/为偏差刺激。在另一个oddball序列中，以汉语音节/yi2/为标准刺激，/yi3/为偏差刺激。第一个oddball序列的结果发现，母语为汉语的被试诱发的MMN明显大于母语为英语的被试。这一结果反映了汉语被试大脑内音节的长时记忆痕迹，即自动激活。

Chandrasekaran等人以非言语（Iteratedripplednoise，IRN）为载体携带汉语普通话的基频轮廓(1声和2声)，其中1声为标准刺激，2声为偏差刺激，以oddball范式呈现给受试者（Chandrasekaraneta1．，2007b）。结果发现，母语为汉语的被试诱发的MMN比母语为英语的被试发的MMN更大。这个MMN幅度的增大可能是由于诱发了汉语受试者大脑中声调轮廓的长时程记忆痕迹。这说明汉语声调轮廓的长时程记忆痕迹是可以脱离言语而独立存在的。进一步说明了汉语声调可以在语音信息加工中被自动激活。

2研究构想

已有研究考察了语音信息对语义激活的作用，并对语音信息加工的神经机制进行了探讨，但是，对于汉语声调的作用仍缺乏深入的研究，尽管以往的这些研究肯定了语音信息在词汇加工的注意阶段的作用。然而，对于早期自动加工阶段，语音信息是如何激活语义信息的目前尚不清楚。尽管有证据表明，母语词汇的语音信息对词汇语义激活的早期自动激活起着重要作用，但对音段和超音段信息各自发挥了怎样的作用尚缺乏深入、细致的研究。

针对以往研究中存在的问题，本研究利用汉语不同于非声调语言的特点，立足于汉语认知，着重考察汉语语音信息在早期自动加工中对语义激活的作用，并在此基础上，进一步探讨语音信息加工的脑机制。对于这些问题的研究，本研究拟采用具有高时间分辨率的ERP技术，在传统脑电分析的基础上，运用LORETA方法进行脑区定位，关注语音信息加工的时空特点，以揭示语音信息加工的动态脑活动模式。

而在早期自动加工过程中,汉语声调能否激活词汇的语义信息,以及如何激活语义信息。对该问题的考察我们将采用被动的Oddball范式,要求被试在听语音刺激的同时观看无声电影。主要关注的脑电成分为MMN。分析MMN的波幅、潜伏期,同时采用LORETA方法分析MMN的发生源。

3研究意义

近半个世纪的语言研究都集中在说话者产生语言和聆听者解码语言的线索类型上。较为广泛的研究是以有着字母书写系统的印欧语系为研究对象，大多数的研究结果都揭示了与线索相关的是小的感知单元，主要是语音。而在这些语言

中，音素的顺序是进行语义识别的主要线索。然而，有很多语音在产生和识别的

过程中音素的顺序不能足以进行语义识别。在声调语言中，每个音节都有它自己

的音素顺序和音调。汉语作为一种声调语言，它的使用者比任何一种语言的都多。

汉语词汇中有很多同音意义词：一些音节可以产生40多种不同的单音节词或者是汉语语素。然而，不同声调的相同音节却有着不同的意义，也就可以区别各种

同音词。汉语中的声调信息与元音和辅音的顺序在语义识别过程中起着同样重要

的作用。

以往关于汉语词汇识别的研究大多集中在阅读过程上，忽视了对汉语词汇听觉加工的研究。尽管研究者们对汉语词汇形、音在阅读过程中的作用及其作用机制进行了大量的研究，并得到了很多有意义的结果。然而，词汇识别不仅仅限于阅读，词汇的听觉加工在人们的认知活动中同样发挥着举足轻重的作用。此外，由于汉字没有形-音对应规则，汉语词汇的视觉研究难以充分揭示汉语语音的作用。本研究从词汇的听觉加工入手，采用ERP技术，着重探讨元音、辅音、声调三类语音信息在词汇语义激活中的作用，以及这些信息在认知加工不同阶段大脑皮层的激活模式，从而揭示汉语词汇识别过程中音段信息和超音段信息的作用机制。该研究将深化汉语口语加工的认识，拓展基于非声调语言研究的口语加工理论的适用范围，为完善人类言语加工的理论模型提供新的实验证据。

教育期刊网 http://www.jyqkw.com
参考文献

[1]Chandrasekaran，B．，Krishnan，A．，GandougJ．T．(2007a)．Mismatchnegativitytopitchcontoursisinfluencedbylanguageexperience．BrainRes1128148-156．

[2]Chandrasekaran，B．，Krishnan，A．，GandougJ．T．(2007b)．Experience-dependentneuralplasticityissensitivetoshapeofpitchcontours．Neuroreport18，1963—1967．

[3]ChandrasekaranB,KrishnanA,&GandourJ.(2009)Relativeinfluenceofmusicalandlinguisticexperienceonearlycorticalprocessingofpitchcontour.BrainandLanguage,108,1-9

[4]Luo,H.,Ni,J.T,Li,Z.H.,Li,X.O.,Zhang,D.R.,Zeng,F.G.,&Chen,L.(2006).Oppositepatternsofhemispheredominanceforearlyauditoryprocessingoflexicaltonesandconsonants.ProceedingsoftheNationalAcademyofsciences,103,19558-19563.

[5]LIX.Q.,&LuY.,(2011)Howaccentuationinfluencessemanticshort-termmemoryrepresentationsduringon-linespeechprocessing:anevent-relatedpotentialstudy.Neuroscience,193,217–228

[6],R.,Paavilainen,P.,Rinne,T.,&Alho,K.(2007).Themismatchnegativity(MMN)inbasicresearchofcentralauditoryprocessing:areview.ClinicalNeurophysiology,118,2544-2590.

[7],R.,Tervaniemi,M.,Sussman,E.,Paavilainen,P.,&Winkler,I.(2001).Primitiveintelligenceintheauditorycortex.TrendsinNeurosciences,24(5),

[8],R.,Escera,C.,(2000)MismatchNegativity:ClinicalandOtherApplications,AudiolNeurootol,5,105–11

[9]Pulvermüller,F.,Kujala,T.,Shtyrov,Y.,Simola,J.,Tiitinene,H.,Alku,P.,etal.(2001).Memorytracesforwordsasrevealedbythemismatchnegativity.Neuroimage,14,607-616.

[10]Ren,G.Q.,Yang,Y.F.,&Li,X.Q.(2009).Earlycorticalprocessingoflinguisticpitchpatternsasrevealedbythemismatchnegativity.Neuroscience,162,87-95.

[11]Zhou,X.L.,Qu,Y.X.,Shu,H.,Gaskell,G.,&Marslen-Wilson,W.(2004).ConstraintsoflexicaltoneonsemanticactivationinChinesespokenwordrecognition.ActaPsychologicaSinica(心理学报),36(4),379-392.

[12]唐浩.(2012).听觉条件下汉语声母、韵母、声调在语义激活中的作用及时间进程.博士学位论文.辽宁师范大学

[13]任桂琴,刘颖,于泽.(2012).汉语口语韵律的作用及其神经机制.心理科学进展,20(3),338-343.

[14]吕勇,沈德立,杜英春,韩宗义.(2004)听觉呈现条件下汉语双字词语义和语音启动的ERP研究.心理科学,27(1),8-12

[15]张清芳.(2008)汉语单音节和双音节词汇产生中的音韵编码过程:内隐启动范式研究.心理学报,40(3):,253-262

[16]胡艳梅,徐展.(2011)汉语声调加工过程的脑神经机制述评.心理科学,

34(1),196-200

[17]杨闰荣,韩玉昌,曹洪霞.(2006).言语产生过程中语义、语音激活的ERP研究.心理科学,29(6),1444-1447.

[18]于泽,韩玉昌,任桂琴.(2010).韵律在语言加工中的作用及其神经机制.心理科学进展,18(3),420-425.

[19]任桂琴,韩玉昌,周永垒,任延涛.(2011).汉语语调早期加工的脑机制.心理学报,43(3),241-248.

[20]周晓林,曲延轩,庄捷,(2003)再探汉字加工中语音、语义激活的相对时间进程,心理与行为研究,1(4),14-274