中国大学生虚拟仿真动态表情库的建立与评价
2022-06-08
摘要：目的:建立一套标准化的中国大学生虚拟仿真动态表情库。方法:采集筛选40名大学生的6种不同动态表情共240段,对其进行标准化加工处理。在北京地区4所高校招募23名大学生,对动态表情的类型、愉悦度和唤醒度进行内部一致性信度、评分者信度检验。结果:建立了包含愤怒9段、厌恶1段、害怕1段、高兴38段、悲伤19段、惊讶39段的表情库,其动态表情的认同率均大于60%。愉悦度与唤醒度的Cronbach α系数分别为0.96、0.76;评分者信度显示被试在愉悦度与唤醒度(W=0.54、0.21,均P<0.001)上具有一致的评价。结论:本研究建立的中国大学生虚拟仿真动态表情库有较好的信度,可作为虚拟现实及情绪研究的实验材料。
关键词：中国人; 虚拟仿真人物; 动态表情; 标准化; 动态表情库;
面孔表情信息(facial expression)是人际互动的重要信息基础[1-3]。不同文化和种族群体在识别异族与本簇基本表情时有显着差异[4],如,Izard[5]研究发现美国人比日本人对美国人的面孔表情识别率要高出18%(83% vs.65%)。建立基于文化与种族群体的表情库对表情识别研究十分重要[6]。目前国内已建立多个面孔表情库,但这些库无一例外都是二维的表情图片库。在信息技术的快速发展下,三维动态表情的研究已然成为热点[7-10],与静态图像相比动态呈现不仅识别得更好[11],而且还有着更好的生态学效度,对表情识别相关的应用研究更具价值。
目前国内外还没有标准化的虚拟仿真人物的动态表情库。在国内,甚至连中国人的虚拟仿真人物库都很难找到。很多孤独症的干预系统[12-14]、社交焦虑的干预系统[15-17]和虚拟教育教学系统中使用的都是外国人的仿真人物模型,随着技术的不断完善,这些系统对仿真人物角色的仿真度要求也越来越高,尤其是动态表情的仿真度。在某种程度上可以认为,这种中国人的高仿真动态表情库是心理学、教育学、临床治疗以及信息与人工智能等学科研究的重要支撑资源。
面孔表情的科学评定是心理学研究的经典课题。从表情研究的类型说角度,Izard[5]采用因素分析法将基本表情分为喜悦、愉快、兴趣、恐惧、悲伤、痛苦、愤怒、羞愧、轻蔑、厌恶和惊奇11种,Ekman[18]研究确认了高兴、愤怒、惊讶、悲伤、害怕、厌恶这6种基本表情,方法不同结果也不同。目前Ekman的六类表情划分在应用研究层面被学者们普遍采纳,尤其是Ekman提出的围绕眉眼和口鼻的面孔表情编码规则被一致认为是表情识别的核心[19]。从维度说的角度,主要有三维说与二维说,如最早的Wundt[20]将情绪划分为3个维度:愉快-不愉快、激动-平静和紧张-松弛,后来Russel[21]将情绪划分为2个维度:愉悦度和唤醒度。目前愉悦度与唤醒度构成的情绪二维描述被情绪研究者普遍认可并应用于表情的基础及应用研究领域[22]。综合上述两种角度,本研究建立了中国大学生虚拟仿真动态表情库,并基于Ekman的6种基本表情以及愉悦度/唤醒度的二维理论对所生成的虚拟仿真人物表情进行了逐一评定。虚拟仿真人物及其动态表情的建立方法与过程详述如下。
实验1(表情动画材料制作):采用方便取样,选取北京市2所高等院校某年级表演班所有学生作为面孔表情视频的表演者,2所院校共76人。表演者均受过专业的表演训练,每名表演者均拍摄了6种基本表情(高兴、愤怒、悲伤、厌恶、害怕、惊讶)的视频,且视频的面孔表情关键点均可被Faceware软件成功捕捉。剔除表情不具有代表性和视频不可以被Faceware软件成功捕捉者36人,有效样本40人,男女各20人,年龄21～35岁,平均年龄(24±3)岁。
实验2(表情动画评定):方便选取北京市4所本科院校,在校内公告栏和学生微信群内发布广告,共招募到大学生30人,男女各15人。剔除贝克抑郁量表(Beck Depression Inventory,BDI)[23-24]得分>20分的3人(男2人,女1人)及认真评价指标<0.7的4人(男2人,女2人),有效样本23人,年龄20～27岁,平均年龄(24±2)岁。
所有被试均身体健康,无精神疾病史,视力或矫正视力正常。实验前告知被试实验内容,被试签署知情同意书后开始,结束后付相应被试费。
1.2 面孔表情动画的制备
使用Faceware硬件设备拍摄6种表情(愤怒、厌恶、恐惧、悲伤、惊讶、高兴)的视频,每种表情由平静开始,再由平静结束。实验开始时,先让表演者观察从国际情绪图片系统(International Affective Picture System,IAPS)[25]与中国情绪图片系统(Chinese Affective Picture System,CAPS)[26]中选取的图片,之后让表演者自行想象如何表现特定的表情。最后让每位表演者分别表演出这6种表情。当表演者进行表演时,主试不干扰被试。但当表演者的表演出现困难,主试可以通过记忆诱发法,帮助表演者成功表现出所需表情。Faceware PC端的插件不能成功识别帧数过高的视频,在衡量视频的连贯性和软件性能之后,使用视频处理软件对所有视频进行剪辑,剪辑后的视频每个表情时长4 s,视频共24 s,每秒25帧。测试时发现4 s的呈现时间过快,不利于被试辨认。因此在正式实验时将呈现速度变成8 s。
使用Artec 3D扫描仪进行人物模型的制备。所有表演者使用同一架扫描仪进行扫描。扫描前,让表演者摘掉耳环、项链等首饰,露出额头、耳朵与脖子,女性表演者需要扎起头发,男性被试刘海过长也需要扎起。扫描时表演者需面无表情,直视前方。扫描时长每人约为15s,其间表演者需尽可能减少眨眼次数。扫描完成后自动生成仿真模型与UV贴图。将生成的仿真模型在Maya里进行重构,将自动生成的UV贴图用图片处理软件Adobe Photoshop CC进行对比度、亮度的统一处理,去掉黏在脸上的发丝,痣等。人物模型及动画的制作主要用到如下软件(表1)。
表1 实验主要应用软件及其用途
1.3 表情动画的选取与使用
实验1:选取4名心理学研究生(男女各2名)对录制的76名表演者的456段视频的代表性进行评定,并通过Faceware抓取表情视频的面部关键点,剔除表情视频不具代表性及面孔表情关键点不能够被Faceware正确捕捉的表情视频216段,选出了40名表演者(男女各20名)的240段表情动画片作为正式实验材料,男女表演者的表情动画各120段(愤怒、厌恶、恐惧、悲伤、惊讶、高兴6种表情各20段)。
实验2:参考IAPS的做法及抽取比例[25],从240段表情视频中,按愤怒、厌恶、恐惧、悲伤、惊讶、高兴各3段,共随机抽取18段,复制后混入原始表情视频。为防止其他信息产生干扰的可能性,实验时除面孔表情模型和手柄之外,其余特征(天空、地面)均为黑色。
1.4 实验设计
实验使用Unity 3D 2018.2.3软件编制程序,搭建虚拟现实实验场景。随机呈现258段面孔表情视频(包含240段面孔表情视频和18段随机抽取的重复视频),实验过程中保持被试的实验环境均一致,保证虚拟现实实验场景的亮度、对比度均一致。
具体实验分为两个阶段:第一阶段是练习阶段。从CAPS[26]中选取不同性别和表情的图片共24张。通过练习,确保被试能完全理解整个实验流程,同时,给被试讲解评分规则,确保被试形成较为稳定的评分标准及尺度。
第二阶段是正式实验阶段。首先进行面孔表情类型的评定,每一段表情动画的呈现时间为8s,要求被试在每段表情动画呈现后,对其表情类型做出判断,通过手柄进行选择。评定时间原则上由被试自己进行控制,但要求被试不做长时间的思考,根据即时感受进行判断。完成一段表情动画的情绪类型评定后,程序会自动呈现下一段动画,为避免被试长时间实验产生疲劳感,每完成100段动画的评定强制休息一次,每次休息3 min。完成表情类型的评估之后,被试会应用自我评价模型(Self-As-sessment Manikin,SAM)进行表情动画得到愉悦度和唤醒度评定。愉悦度与唤醒度均采用1(最弱)～9(最强) 9点评分[27]。评分规则均与CAPS所采用的规则相同。每段表情动画呈现后,被试在同一屏上先对表情的愉悦度进行评分,再对表情的唤醒度进行评分。为避免长时间实验产生疲劳感,每完成100段动画的评定会休息5 min。具体实验流程见图1 。
图1 正式实验流程
1.5 统计方法
对18段随机抽取的重复视频的评定数据进行重复测量分析,将被试对情绪类型前后判断一致的表情动画所占的百分比作为其认真评价的指标。参考CAPS[26],负性面孔即愤怒、厌恶、害怕、悲伤、惊讶;正性面孔即高兴。参考龚栩等[6]的研究,剔除指标在0.7以下的数据。
对被试评定的240段动态表情的数据进行认同率分析(认同率指标:对于一个面孔表情视频,在被试群体有多少人将其归于某种表情类型的比例),选取认同率≥60%的表情动画[28]纳入虚拟仿真动画库;采用独立样本t检验比较男女被试在正性表情视频与负性表情视频上的愉悦度和唤醒度评分;对被试在虚拟仿真动画库的表情动画上的评分结果进行内部一致性信度分析,将23名被试对虚拟仿真动画库面孔表情的评分数据进行评分者信度分析。
剔除指标在0.7以下的4名被试数据(男女各2名),对剩余的23名被试在18个重复表情动画上的愉悦度与唤醒度评分进行分析,结果愉悦度、唤醒度前后两次评分均呈正相关(r=0.75、0.72,均P<0.01),表明评分的稳定性较高。
2.2 认同率
表情动画在不同认同率上的比例见表2,有60%的高兴表情认同率在90%以上,而厌恶和害怕的认同率较低。
认同率≥60%的动态表情共107个,其中愤怒9个,厌恶1个,害怕1个,高兴38个,悲伤19个,惊讶39个。其愉悦度最大值7.9,最小值8.0,平均得分(4.4±0.1);唤醒度最大值8.0,最小值1.6,平均得分(5.2±0.1)。
表2 表情动画在不同认同率上的比例(%)
表3 男女对不同性质动态表情的愉悦度、唤醒度评分比较(SD)
2.3 不同性质动态表情的愉悦度、唤醒度评分的性别差异
对于正性动态表情,男生的唤醒度评分低于女生(d=0.73);对于负性动态表情,男生的唤醒度评分高于女生(d=0.19)。结果见表3。
2.4 信度分析
内部一致性信度:愉悦度的Cronbach α系数是0.96,唤醒度的Cronbach α系数是0.76。
评分者信度:在愉悦度上,肯德尔和谐系数(W)为0.54(P<0 .001);在唤醒度上,W为0.21(P<0.001)。
不同表情的认同率有所不同,尤其是出现了正负性表情在认同率上的明显差异。高兴表情的认同率最高,与前人[31-32]的研究结果一致。通常来说,人们可以辨别比较细微的高兴表情,而其他的表情则需要表现比较强烈的时候才能够确认。因此,就算表情动画中人物只是轻微的上扬嘴角,被试也能够成功辨认。相应地,负性表情的认同率则出现了较大的内部差异,其中愤怒、惊讶、悲伤表情的认同率较高,而厌恶、害怕表情认同率较低。愤怒、惊讶、悲伤表情有较高的认同率,与实验的预期相符。其中惊讶的认同率比预计的高,与高兴基本持平。猜测是由于被试将害怕与惊讶表情混淆,致使我们得到了较少的害怕表情与较多的惊讶表情。厌恶与害怕表情无论是模特的表达还是评定者的识别均出现了困难,这与前人的研究发现一致。前人已发表的中国人面孔表情图片库在制作的时候也发现了负性表情,尤其是厌恶与害怕这两个表情较难表现和辨认[33]。国外表情库在制作时也同样发现负性表情较正性表情更难辨认[30,32,34]。对比本研究结果与国外相关研究,有可能存在中国人对这类消极表情的识别与外国人存在差异。当然,在确认存在文化差异之前需要排除另一种可能性,那就是本研究所选的技术在表达负性表情上存在缺陷,尤其是受限于当前的建模技术,虚拟人物面部的控制点设置远远达不到自然真实表情表达的要求。此次面孔表情共捕捉关键点51个,鼻部只有鼻头处有3个关键点,鼻根处缺失关键点,眉间并没有捕捉相应的表情关键点。因此,模型的鼻根与眉间缺少相应的动画,很难形成动态皮肤褶皱的效果。致使很多被试辨认不出厌恶表情或将害怕表情与惊讶表情混淆。
尽管所建立的中国大学生虚拟仿真动态表情库达到使用的要求,但作为首次尝试,并限于技术上的不足,存在较多的不足。首先,研究所选取的被试均为北京的在校大学生,因此可能导致数据上的偏差,之后的研究应增加不同年龄段不同文化水平和不同地域的被试。其次,研究中被试的样本量较小,也可能产生偏差,这也是在今后的实验中需要补充的地方。最后,表演者虽上过表演者相关课程,但是表演经验并不充足,本次研究对每个人的每一类表情只收集了一段视频,并没有收集不同强度的视频。如果一个人的一类表情可以有不同强度的视频,那么虚拟表情动画库将会更加完善,对表情研究的贡献将会更大,在今后的研究中应该加以补充。
参考文献
[1] Fox E,Russo R,Dutton K.Attentional bias for threat:evidence for delayed disengagement from emotional faces[J].Cogn Emot,2002,16(3):355-379.
[2] Mehrabian A.Communication without words[J].Psychol Today,1968,2(4):53-56.
[3] Zebrowitz L.Reading faces:window to the soul?[J].Pers Individ Differ,1997,26(4):194-195.
[4] Marsh AA,Elfenbein HA,Ambady N.Nonverbal "accents":cultural differences in facial expressions of emotion[J].Psychol Sci,2016,14(4):373-376.
[5] Izard C.The Face of Emotion[J].Suny,1971,(1):112.
[6] 龚栩,黄宇霞,王妍,等.中国面孔表情图片系统的修订[J].中国心理卫生杂志,2011,25(1):40-46.
[7] 陈浩磊,邹湘军,陈燕,等.虚拟现实技术的最新发展与展望[J].中国科技论文在线,2011,6(1):1-5.
[8] 王珊,沈旭昆,赵沁平.三维人脸表情获取及重建技术综述[J].系统仿真学报,2018,30(7):2423-2444.
[9] Park E,Kim S,Lee C.The effects of virtual reality game exercise on balance and gait of the elderly[J].J Phys Ther Sci,2015,27(4):1157-1159.
[10]Li C,Lin S,Zhou K,et al.Proceedings of the IEEE conference on computer vision and pattern recognition[C].IEEE,2017.
[11]姚雪.面孔表情识别的影响因素:表情强度和呈现方式[D].长春:吉林大学,2010.
[12]Parsons TD,Carlew AR.Bimodal Virtual Reality Stroop for Assessing Distractor Inhibition in Autism Spectrum Disorders[J].J Autism Dev Disord,2016,46(4):1255-1267.
[13]Finkelstein S L,Nickel A,Barnes T,et al.2010 IEEE Virtual Reality Conference (VR)[C].IEEE,2010,
[14]Yuan SNV,Ip HHS.Using virtual reality to train emotional and social skills in children with autism spectrum disorder[J].J Prim Care,2018,10(4):110-112.
[15]Wieser MJ,Pauli P,Grosseibl M,et al.Virtual social interactions in social anxiety-the impact of sex,gaze,and interpersonal distance.[J].Cyberpsychol Behav Soc Netw,2010,13(5):547-554.
[16]Aymerich-Franch L,Kizilcec RF,Bailenson JN.The relationship between virtual self similarity and social anxiety[J].Front Human Neurosci,2014,8:doi.10.3389/fnhum.2014.00944
[17]王希,董蕊,李思佳,等.虚拟现实暴露疗法在社交焦虑中的应用:效果、机制及展望[J].心理科学,2017,40(6):1504-1510.
[18]Ekman P.An argument for basic emotions[J].Cognit Emotion,2008,6(3-4):169-200.
[19]Hassin RR,Aviezer H,Bentin S.Inherently ambiguous:facial expressions of emotions,in context[J].Emotion Rev,2013,5(1):60-65.
[20]Wundt W,Judd C.Outlines of psychology[M].Leipzig:Scholarly Press,1896.
[21]Russell JA.A circumplex model of affect[J].J Pers SocPsychol,1980,39(6):1161-1178.
[22]Bradley MM,Codispoti M,Cuthbert BN,et al.Emotion and motivation I:defensive and appetitive reactions in picture processing[J].Emotion,2001,1(3):276-298.
[23]王振,苑成梅,黄佳,等.贝克抑郁量表第2版中文版在抑郁症患者中的信效度[J].中国心理卫生杂志,2011,25(6):476-480.
[24]杨文辉,吴多进,彭芳.贝克抑郁量表第2版中文版在大一学生中的试用[J].中国临床心理学杂志,2012,20(6):762-764.
[25]Bradley MM,Lang PJ.International affective picture system[M].Zeigler-Hill,Shackelford TK,eds.Encyclopedia of Personality and Individual Differences,2017:1-4.doi.10.1007/978-3-319-28099-8_42-1
[26]杨文辉,吴多进,彭芳.贝克抑郁量表第2版中文版在大一学生中的试用[J].中国临床心理学杂志,2012,20(6):762-764.
[27]Bradley MM,Lang PJ.Affective Norms for English Words (ANEW):instruction manual and affective ratings Technical Report C1[D].Gainesville:University of Florida.Center for Research in Psychophysiology,1999.
[28]程刚,张大均,关雨生,等.婴儿面孔表情标准化图片系统的初步建立[J].中国心理卫生杂志,2015,29(6):406-412.
[29]Wang L,Markham R.The Development of a Series of Photographs of Chinese Facial Expressions of Emotion[J].J Cross-Cultural Psychol,2016,30(4):397-410.
[30]Adolphs R.Recognizing emotion from facial expressions:psychological and neurological mechanisms[J].Behav Cogn Neurosci Rev,2016,1(1):21-62.
[31]Gosselin P,Kirouac G,Doré FY.Components and recognition of facial expression in the communication of emotion by actors.[J].J Pers Soc Psychol,1995,68(1):83-96.
[32]Waters AM,Lipp OV,Spence SH.The effects of affective picture stimuli on blink modulation in adults and children[J].Biol Psychol,2005,68(3):257-281.
[33]王妍,罗跃嘉.大学生面孔表情材料的标准化及其评定[J].中国临床心理学杂志,2005,13(4):21-23.
[34]O' Sullivan M,Diacoyanni-Tarlatzis I,Krause R,et al.Universals and cultural differences in the judgments of facial expressions of emotion[J].J Pers Soc Psychol,1987,53(4):712-717.
关键词：中国人; 虚拟仿真人物; 动态表情; 标准化; 动态表情库;
面孔表情信息(facial expression)是人际互动的重要信息基础[1-3]。不同文化和种族群体在识别异族与本簇基本表情时有显着差异[4],如,Izard[5]研究发现美国人比日本人对美国人的面孔表情识别率要高出18%(83% vs.65%)。建立基于文化与种族群体的表情库对表情识别研究十分重要[6]。目前国内已建立多个面孔表情库,但这些库无一例外都是二维的表情图片库。在信息技术的快速发展下,三维动态表情的研究已然成为热点[7-10],与静态图像相比动态呈现不仅识别得更好[11],而且还有着更好的生态学效度,对表情识别相关的应用研究更具价值。
目前国内外还没有标准化的虚拟仿真人物的动态表情库。在国内,甚至连中国人的虚拟仿真人物库都很难找到。很多孤独症的干预系统[12-14]、社交焦虑的干预系统[15-17]和虚拟教育教学系统中使用的都是外国人的仿真人物模型,随着技术的不断完善,这些系统对仿真人物角色的仿真度要求也越来越高,尤其是动态表情的仿真度。在某种程度上可以认为,这种中国人的高仿真动态表情库是心理学、教育学、临床治疗以及信息与人工智能等学科研究的重要支撑资源。
面孔表情的科学评定是心理学研究的经典课题。从表情研究的类型说角度,Izard[5]采用因素分析法将基本表情分为喜悦、愉快、兴趣、恐惧、悲伤、痛苦、愤怒、羞愧、轻蔑、厌恶和惊奇11种,Ekman[18]研究确认了高兴、愤怒、惊讶、悲伤、害怕、厌恶这6种基本表情,方法不同结果也不同。目前Ekman的六类表情划分在应用研究层面被学者们普遍采纳,尤其是Ekman提出的围绕眉眼和口鼻的面孔表情编码规则被一致认为是表情识别的核心[19]。从维度说的角度,主要有三维说与二维说,如最早的Wundt[20]将情绪划分为3个维度:愉快-不愉快、激动-平静和紧张-松弛,后来Russel[21]将情绪划分为2个维度:愉悦度和唤醒度。目前愉悦度与唤醒度构成的情绪二维描述被情绪研究者普遍认可并应用于表情的基础及应用研究领域[22]。综合上述两种角度,本研究建立了中国大学生虚拟仿真动态表情库,并基于Ekman的6种基本表情以及愉悦度/唤醒度的二维理论对所生成的虚拟仿真人物表情进行了逐一评定。虚拟仿真人物及其动态表情的建立方法与过程详述如下。
1 对象与方法
1.1 对象实验1(表情动画材料制作):采用方便取样,选取北京市2所高等院校某年级表演班所有学生作为面孔表情视频的表演者,2所院校共76人。表演者均受过专业的表演训练,每名表演者均拍摄了6种基本表情(高兴、愤怒、悲伤、厌恶、害怕、惊讶)的视频,且视频的面孔表情关键点均可被Faceware软件成功捕捉。剔除表情不具有代表性和视频不可以被Faceware软件成功捕捉者36人,有效样本40人,男女各20人,年龄21～35岁,平均年龄(24±3)岁。
实验2(表情动画评定):方便选取北京市4所本科院校,在校内公告栏和学生微信群内发布广告,共招募到大学生30人,男女各15人。剔除贝克抑郁量表(Beck Depression Inventory,BDI)[23-24]得分>20分的3人(男2人,女1人)及认真评价指标<0.7的4人(男2人,女2人),有效样本23人,年龄20～27岁,平均年龄(24±2)岁。
所有被试均身体健康,无精神疾病史,视力或矫正视力正常。实验前告知被试实验内容,被试签署知情同意书后开始,结束后付相应被试费。
1.2 面孔表情动画的制备
使用Faceware硬件设备拍摄6种表情(愤怒、厌恶、恐惧、悲伤、惊讶、高兴)的视频,每种表情由平静开始,再由平静结束。实验开始时,先让表演者观察从国际情绪图片系统(International Affective Picture System,IAPS)[25]与中国情绪图片系统(Chinese Affective Picture System,CAPS)[26]中选取的图片,之后让表演者自行想象如何表现特定的表情。最后让每位表演者分别表演出这6种表情。当表演者进行表演时,主试不干扰被试。但当表演者的表演出现困难,主试可以通过记忆诱发法,帮助表演者成功表现出所需表情。Faceware PC端的插件不能成功识别帧数过高的视频,在衡量视频的连贯性和软件性能之后,使用视频处理软件对所有视频进行剪辑,剪辑后的视频每个表情时长4 s,视频共24 s,每秒25帧。测试时发现4 s的呈现时间过快,不利于被试辨认。因此在正式实验时将呈现速度变成8 s。
使用Artec 3D扫描仪进行人物模型的制备。所有表演者使用同一架扫描仪进行扫描。扫描前,让表演者摘掉耳环、项链等首饰,露出额头、耳朵与脖子,女性表演者需要扎起头发,男性被试刘海过长也需要扎起。扫描时表演者需面无表情,直视前方。扫描时长每人约为15s,其间表演者需尽可能减少眨眼次数。扫描完成后自动生成仿真模型与UV贴图。将生成的仿真模型在Maya里进行重构,将自动生成的UV贴图用图片处理软件Adobe Photoshop CC进行对比度、亮度的统一处理,去掉黏在脸上的发丝,痣等。人物模型及动画的制作主要用到如下软件(表1)。
表1 实验主要应用软件及其用途
1.3 表情动画的选取与使用
实验1:选取4名心理学研究生(男女各2名)对录制的76名表演者的456段视频的代表性进行评定,并通过Faceware抓取表情视频的面部关键点,剔除表情视频不具代表性及面孔表情关键点不能够被Faceware正确捕捉的表情视频216段,选出了40名表演者(男女各20名)的240段表情动画片作为正式实验材料,男女表演者的表情动画各120段(愤怒、厌恶、恐惧、悲伤、惊讶、高兴6种表情各20段)。
实验2:参考IAPS的做法及抽取比例[25],从240段表情视频中,按愤怒、厌恶、恐惧、悲伤、惊讶、高兴各3段,共随机抽取18段,复制后混入原始表情视频。为防止其他信息产生干扰的可能性,实验时除面孔表情模型和手柄之外,其余特征(天空、地面)均为黑色。
1.4 实验设计
实验使用Unity 3D 2018.2.3软件编制程序,搭建虚拟现实实验场景。随机呈现258段面孔表情视频(包含240段面孔表情视频和18段随机抽取的重复视频),实验过程中保持被试的实验环境均一致,保证虚拟现实实验场景的亮度、对比度均一致。
具体实验分为两个阶段:第一阶段是练习阶段。从CAPS[26]中选取不同性别和表情的图片共24张。通过练习,确保被试能完全理解整个实验流程,同时,给被试讲解评分规则,确保被试形成较为稳定的评分标准及尺度。
第二阶段是正式实验阶段。首先进行面孔表情类型的评定,每一段表情动画的呈现时间为8s,要求被试在每段表情动画呈现后,对其表情类型做出判断,通过手柄进行选择。评定时间原则上由被试自己进行控制,但要求被试不做长时间的思考,根据即时感受进行判断。完成一段表情动画的情绪类型评定后,程序会自动呈现下一段动画,为避免被试长时间实验产生疲劳感,每完成100段动画的评定强制休息一次,每次休息3 min。完成表情类型的评估之后,被试会应用自我评价模型(Self-As-sessment Manikin,SAM)进行表情动画得到愉悦度和唤醒度评定。愉悦度与唤醒度均采用1(最弱)～9(最强) 9点评分[27]。评分规则均与CAPS所采用的规则相同。每段表情动画呈现后,被试在同一屏上先对表情的愉悦度进行评分,再对表情的唤醒度进行评分。为避免长时间实验产生疲劳感,每完成100段动画的评定会休息5 min。具体实验流程见图1 。
图1 正式实验流程
1.5 统计方法
对18段随机抽取的重复视频的评定数据进行重复测量分析,将被试对情绪类型前后判断一致的表情动画所占的百分比作为其认真评价的指标。参考CAPS[26],负性面孔即愤怒、厌恶、害怕、悲伤、惊讶;正性面孔即高兴。参考龚栩等[6]的研究,剔除指标在0.7以下的数据。
对被试评定的240段动态表情的数据进行认同率分析(认同率指标:对于一个面孔表情视频,在被试群体有多少人将其归于某种表情类型的比例),选取认同率≥60%的表情动画[28]纳入虚拟仿真动画库;采用独立样本t检验比较男女被试在正性表情视频与负性表情视频上的愉悦度和唤醒度评分;对被试在虚拟仿真动画库的表情动画上的评分结果进行内部一致性信度分析,将23名被试对虚拟仿真动画库面孔表情的评分数据进行评分者信度分析。
2 结 果
2.1 评分稳定性剔除指标在0.7以下的4名被试数据(男女各2名),对剩余的23名被试在18个重复表情动画上的愉悦度与唤醒度评分进行分析,结果愉悦度、唤醒度前后两次评分均呈正相关(r=0.75、0.72,均P<0.01),表明评分的稳定性较高。
2.2 认同率
表情动画在不同认同率上的比例见表2,有60%的高兴表情认同率在90%以上,而厌恶和害怕的认同率较低。
认同率≥60%的动态表情共107个,其中愤怒9个,厌恶1个,害怕1个,高兴38个,悲伤19个,惊讶39个。其愉悦度最大值7.9,最小值8.0,平均得分(4.4±0.1);唤醒度最大值8.0,最小值1.6,平均得分(5.2±0.1)。
表2 表情动画在不同认同率上的比例(%)
表3 男女对不同性质动态表情的愉悦度、唤醒度评分比较(SD)
2.3 不同性质动态表情的愉悦度、唤醒度评分的性别差异
对于正性动态表情,男生的唤醒度评分低于女生(d=0.73);对于负性动态表情,男生的唤醒度评分高于女生(d=0.19)。结果见表3。
2.4 信度分析
内部一致性信度:愉悦度的Cronbach α系数是0.96,唤醒度的Cronbach α系数是0.76。
评分者信度:在愉悦度上,肯德尔和谐系数(W)为0.54(P<0 .001);在唤醒度上,W为0.21(P<0.001)。
3 讨 论
通过类型与维度双重评定,本研究最终建立了一个包含107段动画表情的中国大学生虚拟仿真动态表情库,其中负性面孔表情动画69段,正性面孔表情动画38段,负性面孔表情包含所有5种常见的负性表情类型——愤怒、厌恶、害怕、悲伤、惊讶。库中的表情动画认同率都在60%以上,维度评分全距均大于6,表明库中包含的表情在类型上具有良好的代表性,在维度上能诱发不同程度的愉悦与唤醒水平,这些结果表明不同类型的表情动画之间存在差异[29-30]。因此,所建立的表情库所包含的样本容量以及表情表达的质量均达到心理学及相关学科研究的应用标准。不同表情的认同率有所不同,尤其是出现了正负性表情在认同率上的明显差异。高兴表情的认同率最高,与前人[31-32]的研究结果一致。通常来说,人们可以辨别比较细微的高兴表情,而其他的表情则需要表现比较强烈的时候才能够确认。因此,就算表情动画中人物只是轻微的上扬嘴角,被试也能够成功辨认。相应地,负性表情的认同率则出现了较大的内部差异,其中愤怒、惊讶、悲伤表情的认同率较高,而厌恶、害怕表情认同率较低。愤怒、惊讶、悲伤表情有较高的认同率,与实验的预期相符。其中惊讶的认同率比预计的高,与高兴基本持平。猜测是由于被试将害怕与惊讶表情混淆,致使我们得到了较少的害怕表情与较多的惊讶表情。厌恶与害怕表情无论是模特的表达还是评定者的识别均出现了困难,这与前人的研究发现一致。前人已发表的中国人面孔表情图片库在制作的时候也发现了负性表情,尤其是厌恶与害怕这两个表情较难表现和辨认[33]。国外表情库在制作时也同样发现负性表情较正性表情更难辨认[30,32,34]。对比本研究结果与国外相关研究,有可能存在中国人对这类消极表情的识别与外国人存在差异。当然,在确认存在文化差异之前需要排除另一种可能性,那就是本研究所选的技术在表达负性表情上存在缺陷,尤其是受限于当前的建模技术,虚拟人物面部的控制点设置远远达不到自然真实表情表达的要求。此次面孔表情共捕捉关键点51个,鼻部只有鼻头处有3个关键点,鼻根处缺失关键点,眉间并没有捕捉相应的表情关键点。因此,模型的鼻根与眉间缺少相应的动画,很难形成动态皮肤褶皱的效果。致使很多被试辨认不出厌恶表情或将害怕表情与惊讶表情混淆。
尽管所建立的中国大学生虚拟仿真动态表情库达到使用的要求,但作为首次尝试,并限于技术上的不足,存在较多的不足。首先,研究所选取的被试均为北京的在校大学生,因此可能导致数据上的偏差,之后的研究应增加不同年龄段不同文化水平和不同地域的被试。其次,研究中被试的样本量较小,也可能产生偏差,这也是在今后的实验中需要补充的地方。最后,表演者虽上过表演者相关课程,但是表演经验并不充足,本次研究对每个人的每一类表情只收集了一段视频,并没有收集不同强度的视频。如果一个人的一类表情可以有不同强度的视频,那么虚拟表情动画库将会更加完善,对表情研究的贡献将会更大,在今后的研究中应该加以补充。
参考文献
[1] Fox E,Russo R,Dutton K.Attentional bias for threat:evidence for delayed disengagement from emotional faces[J].Cogn Emot,2002,16(3):355-379.
[2] Mehrabian A.Communication without words[J].Psychol Today,1968,2(4):53-56.
[3] Zebrowitz L.Reading faces:window to the soul?[J].Pers Individ Differ,1997,26(4):194-195.
[4] Marsh AA,Elfenbein HA,Ambady N.Nonverbal "accents":cultural differences in facial expressions of emotion[J].Psychol Sci,2016,14(4):373-376.
[5] Izard C.The Face of Emotion[J].Suny,1971,(1):112.
[6] 龚栩,黄宇霞,王妍,等.中国面孔表情图片系统的修订[J].中国心理卫生杂志,2011,25(1):40-46.
[7] 陈浩磊,邹湘军,陈燕,等.虚拟现实技术的最新发展与展望[J].中国科技论文在线,2011,6(1):1-5.
[8] 王珊,沈旭昆,赵沁平.三维人脸表情获取及重建技术综述[J].系统仿真学报,2018,30(7):2423-2444.
[9] Park E,Kim S,Lee C.The effects of virtual reality game exercise on balance and gait of the elderly[J].J Phys Ther Sci,2015,27(4):1157-1159.
[10]Li C,Lin S,Zhou K,et al.Proceedings of the IEEE conference on computer vision and pattern recognition[C].IEEE,2017.
[11]姚雪.面孔表情识别的影响因素:表情强度和呈现方式[D].长春:吉林大学,2010.
[12]Parsons TD,Carlew AR.Bimodal Virtual Reality Stroop for Assessing Distractor Inhibition in Autism Spectrum Disorders[J].J Autism Dev Disord,2016,46(4):1255-1267.
[13]Finkelstein S L,Nickel A,Barnes T,et al.2010 IEEE Virtual Reality Conference (VR)[C].IEEE,2010,
[14]Yuan SNV,Ip HHS.Using virtual reality to train emotional and social skills in children with autism spectrum disorder[J].J Prim Care,2018,10(4):110-112.
[15]Wieser MJ,Pauli P,Grosseibl M,et al.Virtual social interactions in social anxiety-the impact of sex,gaze,and interpersonal distance.[J].Cyberpsychol Behav Soc Netw,2010,13(5):547-554.
[16]Aymerich-Franch L,Kizilcec RF,Bailenson JN.The relationship between virtual self similarity and social anxiety[J].Front Human Neurosci,2014,8:doi.10.3389/fnhum.2014.00944
[17]王希,董蕊,李思佳,等.虚拟现实暴露疗法在社交焦虑中的应用:效果、机制及展望[J].心理科学,2017,40(6):1504-1510.
[18]Ekman P.An argument for basic emotions[J].Cognit Emotion,2008,6(3-4):169-200.
[19]Hassin RR,Aviezer H,Bentin S.Inherently ambiguous:facial expressions of emotions,in context[J].Emotion Rev,2013,5(1):60-65.
[20]Wundt W,Judd C.Outlines of psychology[M].Leipzig:Scholarly Press,1896.
[21]Russell JA.A circumplex model of affect[J].J Pers SocPsychol,1980,39(6):1161-1178.
[22]Bradley MM,Codispoti M,Cuthbert BN,et al.Emotion and motivation I:defensive and appetitive reactions in picture processing[J].Emotion,2001,1(3):276-298.
[23]王振,苑成梅,黄佳,等.贝克抑郁量表第2版中文版在抑郁症患者中的信效度[J].中国心理卫生杂志,2011,25(6):476-480.
[24]杨文辉,吴多进,彭芳.贝克抑郁量表第2版中文版在大一学生中的试用[J].中国临床心理学杂志,2012,20(6):762-764.
[25]Bradley MM,Lang PJ.International affective picture system[M].Zeigler-Hill,Shackelford TK,eds.Encyclopedia of Personality and Individual Differences,2017:1-4.doi.10.1007/978-3-319-28099-8_42-1
[26]杨文辉,吴多进,彭芳.贝克抑郁量表第2版中文版在大一学生中的试用[J].中国临床心理学杂志,2012,20(6):762-764.
[27]Bradley MM,Lang PJ.Affective Norms for English Words (ANEW):instruction manual and affective ratings Technical Report C1[D].Gainesville:University of Florida.Center for Research in Psychophysiology,1999.
[28]程刚,张大均,关雨生,等.婴儿面孔表情标准化图片系统的初步建立[J].中国心理卫生杂志,2015,29(6):406-412.
[29]Wang L,Markham R.The Development of a Series of Photographs of Chinese Facial Expressions of Emotion[J].J Cross-Cultural Psychol,2016,30(4):397-410.
[30]Adolphs R.Recognizing emotion from facial expressions:psychological and neurological mechanisms[J].Behav Cogn Neurosci Rev,2016,1(1):21-62.
[31]Gosselin P,Kirouac G,Doré FY.Components and recognition of facial expression in the communication of emotion by actors.[J].J Pers Soc Psychol,1995,68(1):83-96.
[32]Waters AM,Lipp OV,Spence SH.The effects of affective picture stimuli on blink modulation in adults and children[J].Biol Psychol,2005,68(3):257-281.
[33]王妍,罗跃嘉.大学生面孔表情材料的标准化及其评定[J].中国临床心理学杂志,2005,13(4):21-23.
[34]O' Sullivan M,Diacoyanni-Tarlatzis I,Krause R,et al.Universals and cultural differences in the judgments of facial expressions of emotion[J].J Pers Soc Psychol,1987,53(4):712-717.