ABSTRACT

Objective: A hyperscanning technique based on near infrared spectroscopy (NIRS) is used to study inter-brain activity in two persons while they play social interactive tasks. Methods: The activities of human interactivity are simulated by a group of cooperation and competition tasks. 15 pairs of heath students were recruited. The left and right prefrontal cerebral hemoglobin signals of a pair of subjects were simultaneously recorded during the experiment using two portable dual-channel near infrared recorders. A phase synchronized index method based on synchrosqueezed wavelet transform was presented and applied to calculate the synchronized indices of the low-frequency component of the cerebral hemoglobin signal pairs. Results: The phase synchronized index of the left hemoglobin signal pair in cooperation task was higher than in competition one. Both indices showed a significant difference (P < 0.05). In contrast, there was no significant difference in the right side. Conclusion: NIRS measurement is noninvasive and portable, and could be carried out in a naturalistic environment. The NIRS based hyperscanning technique can provide a new approach for the study of social cognitive behavior.

Keywords:Social Interactive Behavior, Near Infrared Spectroscopy, Hyperscanning, Synchrosqueezed Wavelet Transform, Phase Synchronization

利用基于近红外光谱的超扫描技术研究人类交互行为

覃龙，王严锋，闫相国^*

西安交通大学，生物医学信息工程教育部重点实验室，陕西 西安

收稿日期：2015年10月20日；录用日期：2015年11月6日；发布日期：2015年11月9日

摘 要

目的：利用基于近红外光谱的超扫描技术研究人类社会交互活动过程中的脑功能变化。方法：通过合作、竞争任务模拟人类不同的社会交互活动，招募15对健康大学生参与实验，使用两个便携式双通道近红外记录器同步记录实验过程中一对受试者的左、右前额叶的脑血氧信号，提出并利用加权挤压小波相同步方法计算合作任务与竞争任务期间血红蛋白信号的低频成分的相同步指数。结果：左侧血红蛋白信号对的相同步指数竞争任务高于合作任务,且具有显著性差异(P < 0.05)；与此相反，右侧相同步指数无显著性差异。结论：近红外光谱测量具有无创、便携，且可在完全自然环境下完成等优点，基于近红外光谱的超扫描技术可为社会认知行为研究提供一种新的手段。

关键词 :社会交互行为，近红外光谱，超扫描，同步挤压小波变换，相同步

1. 引言

人类社会存在复杂的社会交往模式，良好的社会交往行为有利于建立良好的人际关系，促进健康和长寿；而社会交往行为障碍，会引发抑郁症、自闭症等社会认知障碍类疾病，从而影响人类健康。理解社会交往行为中的大脑活动对理解我们的社会属性至关重要，同时也有助于诊断和治疗社会认知障碍类疾病。近年来，随着神经影像学特别是fMRI的发展，使我们能够无创的测量大脑活动。一方面对情绪[1] [2] 、思维理论[3] 、道德判断[4] 、信任[5] 等社会行为的研究，加深了我们对相关的认知处理的神经学机理的理解；另一方面对自闭症[6] 、X染色体易裂症[7] 、威廉斯氏综合症[8] 等的研究，使我们对社会认知障碍患者的大脑结构和功能的差异有了更深的了解。然而，目前的研究存在以下两方面限制：1) 从定义上看，社会交往行为的受试者包括两个及以上的个体，而大多数研究仅仅测量一个人的大脑活动。2) 社会交互活动是发生在很自然的环境下(例如面对面的交流)，而目前的大多数研究受试者都处于非自然的环境下。

超扫描技术是近几年研究社会认知活动中采用的新方法，它能同时测量社会交互过程中的多个参与者的脑功能活动，为我们理解社会认知活动开辟了新的视角。根据使用采集设备的不同，相继发展出了基于fMRI的超扫描技术、基于脑电的超扫描技术和基于近红外光谱的超扫描技术[9] 。然而fMRI并不能提供社会互动所需的真实环境，它要求受试者躺卧保持不动、不能说话，设备的噪音常常引起受试者的不适，且fMRI成本昂贵。而脑电由于其自身的局限性，很难定位神经电信号的位置[10] 。近红外光谱技术提供了比fMRI更为真实的实验环境，比脑电更好的空间定位性，正成为社会认知行为研究中的重要研究方法。

因此利用基于近红外光谱的超扫描技术和实验范式，可以通过对比正常人和患者不同的脑同步关系，来评价社会认知障碍类疾病，这将是一个崭新的领域。本文以社会交互模式中的合作和竞争行为为研究对象，设计模拟合作与竞争的双人按键任务，利用两个双通道便携式近红外光谱(NIRS)采集仪采集双侧前额叶皮层血氧信号，并从相空间的角度提出基于加权挤压小波相同步的分析方法，研究人类社会交往中的大脑相同步关系。

2. 实验设计与信号采集

为模拟两人间的合作和竞争，本文以文献[9] 为基础，设计了一个双人手动按键监测实验。受试者须根据屏幕中给出的按键提示做出按键反应，然后通过判断本次按键的屏幕反馈信息，调整下次按键的快慢。合作任务通过两个人相互配合、尽可能的同时按键来模拟；竞争通过争取比同伴更快地按键动作来模拟。

合作任务——在每次按键开始时，出现一个空心的灰色圆圈，提示准备按键，在随机延迟之后，灰色圆圈被填实为绿色，此信号作为可以开始按键信号，记为“go”，受试者只能在“go”信号之后按键，否则无效。左侧位置的受试者按“J”键，右侧位置的受试者按“K”键。当两个受试者都按键之后，屏幕会显示相应的反馈信息并停留4秒，然后2秒间隔之后又开始下一次合作按键过程。“go”信号与受试者按键之间的时间间隔为反应时间，如果两位受试者反应时间之差小于某个阈值，则本次合作按键成功，合作成功加1分，并在反馈信息界面显示“WIN”字样以及累积得分；否则合作失败，合作失败减1分，并在反馈信息界面显示“LOSE”字样以及累积得分。无论合作成功与否，都会在受试者对应侧屏幕显示“+”或“−”(“+”表示本次按键实验中对应侧受试者比另一位受试者按键快，“−”表示比另一位受试者按键慢)。受试者被要求根据反馈信息，调整下次按键快慢，尽可能地获取高分。

竞争任务——每位受试者被要求尽可能快的比另一位受试者按键。竞争任务流程与合作按键相似，只是在两名受试者都按键后，会在受试者对应侧屏幕分别显示“WIN”、“LOSE”，其它显示以及符号的含义与合作任务相同。竞争任务的记分策略为：先按键者得1分，后按键者扣1分；在“go”信号之前按者扣1分。受试者也被告知根据反馈信息，调整下次按键快慢，尽可能的获取高分。

实验任务由两部分组成，分别为训练部分和实验部分。训练部分由5次合作按键组成，目的在于使受试者准确了解实验要求以及熟悉实验环境。实验部分由休息、合作按键、休息、竞争按键、休息五个模块组成。休息为300秒闭眼休息，合作按键和竞争按键都为40次按键，每次按键时间7~8秒，整个实验部分持续大约30分钟。

根据上述实验任务，选取被试者进行数据采集。被试者选取标准为无社会认知障碍类疾病病史，视力或矫正视力正常能看清屏幕反馈信息，且为右手利的大学生，暂不考虑性别因素但同组被试者性别相同。数据采集方案通过西安交通大学生命科学与技术学院伦理批准，并征得受试者同意。本文一共采集了30位大学生数据(共15组、平均年龄为23岁，其中8对男–男组、7对女–女组)。其中2对受试者信号因存在大的运动伪迹在后续分析时被排除，剩下的13对受试的数据用于分析。图1(c)为数据采集示意图，两位受试者分别坐于两台显示器前，中间用挡板隔开以避免相互间的影响。血氧信号通过实验室自制的便携式双通道NIRS采集器采集，如图1(a)所示。每位受试者双侧前额叶位置放置两个NIRS探头，测量深度与光源和探测器的距离成正比。采集的血氧信号分为左右侧、远近端（远端是发光和接收距离为3 cm，近端是发光和接收距离为2 cm）共4路血氧信号，如图1(b)所示。在血氧信号中，血红蛋白浓度变化量是氧合血红蛋白变化量和脱氧血红蛋白变化量之和，对静脉血干扰不敏感，能够提供更好的空间定位性，且代表血容量的变化，并与血流变化相关[11] 。因此本文选取血红蛋白浓度变化量作为研究信号，并根据超扫描技术从每组受试者得到4对同步信号，分别是左侧近端血红蛋白信号对，左侧远端血红蛋白信号对，右侧近端血红蛋白信号对，右侧远端血红蛋白信号对。

3. 加权挤压小波相同步

相位同步方法是从相空间的角度研究两个信号的同步性，它将信号幅度和相位信息分离，仅考虑相位信息，是目前分析大尺度皮层区域相关性的有效方法。其在帕金森症、癫痫、精神分裂症的关于皮层

图1. 实验装置。(a) NIRS数据采集器。(b) NIRS测量原理，受试者双侧前额叶位置放置两个NIRS探头，测量深度与光源和探测器的距离成正比。(c) 一对受试在执行实验任务

同步网络方面的研究已有一些研究结果[12] -[14] ，但是将相位同步分析技术用于社会认知活动中脑网络同步关系研究的却寥寥无几。

3.1. 相位同步

相同步指数是一个统计学上归一化的参数，反应了变量间相位同步关系，相同步指数的数学描述如下：

给定连续时间信号X(t)、Y(t)，且它们的瞬时相位分别为、，如果满足：

(1)

式中，n、m是有界的整数，const是一个正的小量。则信号X(t)和Y(t)被称为n:m相位同步[15] 。相同步中最简单的就是1:1的相位同步，在神经生理信号的研究和应用最为广泛[16] 。在此基础上定义有统计学意义的相同步指数：

(2)

式中，L为窗口长度，为信号采样率。

相同同步指数R为归一化参数，它的取值在0~1之间，表征了两个信号之间相位的同步性。如果信号完全不同步，R = 0；如果两信号的相位差是一个常数，则R = 1。瞬时相位计算常用方法有Hilbert变换、小波变换等，但考虑到同步挤压小波变换能更精确的提取信号中的分量信息，本文利用下述方法计算信号的瞬时相位。

3.2. 基于同步挤压小波变换的瞬时相位

对于时变信号，小波变换往往缺少足够的频率精度。虽然可以牺牲时间精度，来换取频率精度，但往往时间精度又不符合要求。而挤压小波变换以小波变换为基础，能够在保持同样时间精度的同时获取更好的频率精度[17] 。挤压小波变换可以通过细化小波的时频曲线，有效提取每一本征分量的幅值因子、瞬时频率以及相位[18] 。

挤压小波变换作为一种特殊的重组方法，首先得到小波变换后的小波系数，然后根据其在附近的局部性质将分配到时频面不同的点，精细化时频曲线，以提高频率精度。挤压小波变换按如下方式定义，首先定义瞬时频率：

(3)

式中：表示相角，为归一化因子。

当确定之后，在频率的区间，挤压小波变换计算如下：

(4)

式中：是相邻尺度的差值，，其中为小波函数的傅里叶变换。

利用(4)式，求出某个频段的挤压小波系数，然后利用如下公式求出加权挤压小波系数：

(5)

式中，为频率段，为频率段内每个频率的幅值权重。

计算频段上的加权相角为：

(6)

3.3. 统计分析方法

应用SPSS软件进行统计分析。对研究变量进行描述性分析，数据以表示，本文中比较同一组受试者接受两种不同的处理(合作任务与竞争任务)时平均加权挤压小波相同步指数的差异，属于同源配对实验，采用配对t检验，p < 0.05为差异有统计学意义。

4. 结果

血红蛋白浓度信号是一种复杂的多组分的生理信号，其中0.01~0.1 Hz的低频成分在血氧占有重要位置，它反映了大脑的血液动力学信息和新陈代谢状况。为此，我们采用滑动窗口法(窗口长度15 s，重叠10 s，采样率10 Hz)分别对两位受试的左脑远、近端，右脑远、近端共4对前额血红蛋白浓度信号的低频成分进行加权挤压小波相同步分析。

首先，对左侧近端信号对进行加权挤压小波相同步分析。根据公式(4)求出挤压小波系数，然后根据公式(5)和(6)进行加权并求出相角。图2是一对受试的实验过程的相位差趋势示意图，从图中可以看出，合作任务期间相角差值振荡比较大，而竞争任务期间相角差值变化较平缓。计算相同步指数亦显示合作任务期间的相同步指数小于竞争任务期间的相同步指数。

图2. 一对受试执行任务时的左侧近端相位差趋势图

我们对十三对受试的左侧近端信号进行定量研究，计算合作任务期间和竞争任务期间的平均相同步指数，并统计分析，得到如图3所示的统计直方图。采集的13对有效数据中，11对显示竞争任务期间相同步指数高于合作任务期间的相同步指数。

利用SPSS软件对上述左前额近端合作任务期间和竞争任务期间的平均加权挤压小波相同步指数进行统计分析，采用配对t检验。配对t检验需验证两样本差值的正态性，在小样本的情况下，K-S检验得到的结果为p = 0.545 > 0.05，所以样本符合正态分布，继而做配对t检验，得到p = 0.006 < 0.05。所以，左前额近端合作任务期间和竞争任务期间的相同步指数具有显著性差异，且竞争任务期间相同步指数大于合作任务期间的相同步指数。

采用上述分析和统计方法，分别对左前额远端血红蛋白信号对，右前额近端血红蛋白信号对，右前额远端血红蛋白信号对进行加权挤压小波相同步分析和统计分析，得到各信号对的相位同步指数对比结果，如表1所示。从该表可知，左侧信号对均能显示合作任务期间和竞争任务期间相同步指数具有显著性差异，而右侧的信号对显示合作任务期间和竞争任务期间相同步指数没有显著性差异。因此本文从左右侧和远近端的信号的加权挤压小波相同步分析中，得出左侧前额在合作任务和竞争任务期间其加权挤压小波相同步指数具有显著性差异，而右前额没有类似结果。

5. 讨论

前额叶皮层在社会认知中扮演着重要角色，它与社会认知行为的关系主要体现在两方面。一方面是左右前额叶功能不对称。Davidson等人关于情绪电影的研究发现，厌恶和恐惧会促使右侧前额叶的激活，而相反的积极感情则激活左侧前额叶[19] ，此外Beauregard对消极图片的反应研究表明右侧颞叶出现激活[20] 。这说明左侧前额叶与积极情感有关，而右侧前额叶与消极情感相关。另一方面，前额叶不同部位对应于不同的认知活动。图4为社会认知行为与前额叶的对应关系图，图中显示后侧前额叶与动作监控有关，动作监控是指人连续监测他人行为，以确保他们的意图和当前处境一致；前侧前额叶与自我认知、感知他人、心智相关；而下侧前额与涉及奖励和惩罚的结果监测有关。

本文设计的实验任务由于需要感知他人的按键，显然与前侧前额叶相关。具体地，合作任务中，受试者一方面获取另一位受试者的按键结果，另一方面预测对方的下一次按键行为以配合好下一次的按键；而在竞争任务中，受试者获取对方的按键结果，并以此激励下一次的按键。两种不同的大脑反馈机制可能是导致受试者左侧信号在合作与竞争任务期间同步性的差异的原因，竞争任务期间受试者由于竞争产生了共同的目标，即尽可能快的按键以获取高分，可能使受试者大脑活动在相同刺激下达到高的同步性。而合作任务期间，受试者需要预测他人的按键，并调整自己的按键，使大脑活动复杂化，这可能影响了受试者间大脑同步性，使大脑间的同步性降低。另外，本文实验中还表现出了左右侧信号在合作与竞争

图3. 左前额近端血红蛋白相同步指数统计直方图

图4. 前额叶与社会认知活动对应图[21]

表1. 四路血红蛋白信号对相同步统计结果

任务期间脑同步性差异的不一致性，即左侧信号在合作与竞争任务期间脑同步性有显著性差异且竞争任务期间同步性高于合作任务期间，而右侧信号无此差异。这可能有以下2个原因造成：1) 本文所选取的实验任务产生的大脑活动主要在左侧前额区域表现；2) 本文实验中选取的受试者均为右手利的大学生。具体原因有待进一步的研究。

6. 结论

基于上述结果，本文得出以下结论：1) 前额叶在社会认知行为中扮演者中重要的角色，左右前额叶在社会认知行为中的分工和机制不一致。从相同步分析发现，在执行任务时左右前额叶相同步关系表现不一致，左侧信号对(不管远近端)均表现合作任务期间和竞争任务期间相同步指数具有显著性差异，而右侧则不存在这种统计差异，这有可能和左右前额叶的内部机制相联系。2) 同步挤压小波相同步分析是分析脑组织血氧变化一种有效方法。本文首次提出了加权挤压小波相同步分析，并应用于执行社会交互行时的前额叶脑血氧分析。3) NIRS技术是一种研究社会行为及社会认知的有效手段。相较于fMRI以及脑电测量法，NIRS具有空间定位性高、成本低廉、且受实验环境约束较少的优点。而本文采用的双通道NIRS采集器，相较于一般NIRS采集器具有通道少、便携、佩戴方便的优点，更能适应复杂社会交互环境的要求。

本文的研究还有很多的不足之处。首先，被试者的年龄与性别因素未加入研究的考虑范畴，因此年龄和性别可能会对结论产生影响。其次，实验中未考虑被试者之间的熟悉程度，熟悉程度的不同可能导致合作与竞争实验中同步性的不同。然后，合作与竞争实验任务的刺激时间不同，特别是屏幕反馈时间合作任务比竞争任务长。但是，由于本文研究的信号位于0.01~0.1 Hz (10~100 s)包括了合作与竞争实验任务的周期，不太会对实验结论产生影响。最后，本研究的受试选择只是在校健康大学生，未进行临床数据分析。下一步工作将年龄、性别以及熟悉程度纳入实验研究的考虑范畴，并且采集抑郁症患者的实验数据，通过对患者组和对照组的统计分析研究，希望能为抑郁症临床诊断提供一种可行的客观评价方法。

基金项目

国家自然科学基金资助项目(61471291)。

文章引用

覃 龙,王严锋,闫相国. 利用基于近红外光谱的超扫描技术研究人类交互行为
Study of Human Interactive Behavior Using a NIRS-Based Hyperscanning Technique[J]. 国际神经精神科学杂志, 2015, 04(04): 19-27. http://dx.doi.org/10.12677/IJPN.2015.44004

参考文献 (References)