PTES100 多模态人因感知手环

系统构成

“多模态人因感知手环”通常涉及到四个模块： “多模态人因感知终端”、 “边缘计算终端”、 “实验操作端”以及“科研云平台”。

根据不同需求配备不同的模块。

-“多模态人因感知终端”（情绪手环）

多模态人因感知手环支持脉搏、皮肤电阻、皮肤温度、运动加速度、角速度等生理和行为数据，以及环境数据的采集，并将数据传输到“边缘计算终端”

脉搏传感器：采样频率 100Hz

皮电传感器：采样频率 4Hz，交流激励源频率 24Hz

皮温传感器：采样频率 1Hz，测量范围 0~50°C，测量精度 ±1°C

运动传感器三：轴加速度和三轴角速度，采样频率 20Hz

环境传感器：温度、湿度、气压三种传感器，采样频率 1Hz

-“边缘计算终端”

“边缘计算终端”实时接收“多模态人因感知终端”的原始数据，实时对数据进行预处理与特征计算，并将原始数据与计算后的特征数据传输至“科研云平台”

设备绑定：对边缘计算终端与多模态人因感知终端进行绑定

设备状态：记录人因感知终端的连接状态、采集时长、蓝牙信号强度

数据监控：针对脉搏、皮肤电阻、运动加速度、皮温等数据的实时监控

数据分析：可实时对多种生理和行为数据进行预处理与特征计算

-“实验操作端”

“实验操作端”实时监控“边缘计算终端”的设备电量与网络连接状态，支持实验过程中关键事件的同步标记，并将标记数据传输至“科研云平台”

实验控制：支持采集设备的结束控制

设备监控：实时查看设备电量、采集状态、采集时长的监控

场景维护：支持实验场景的维护，可修改实验名称及事件标记名称

主动事件标记：实验过程中支持对设备进行主动标记，以及标记点的查看与编辑

自动事件标记：提供 Python 、Matlab、Eprime 程序的API 接口

-“科研云平台”

科研人员登录“科研云平台”下载原始数据、特征数据与事件标记，或提交定制化数据分析需求，对原始数据进行定制化数据处理与特征提取分析

用户验证：不同实验员拥有独立账户，保证数据隔离

设备查看：支持管理员名下设备的查看

数据下载：支持多种生理和行为原始数据的批量下载

特征分析：支持不少于80种对情绪状态敏感的先验特征的计算和批量下载

可定制项：支持外接设备采集的脑电、眼动轨迹、外周生理数据的批量下载，支持经验取样APP采集的问卷、录音、手机使用数据的批量下载

产品优势

- 结合超扫描技术（Hyper-Scanning），支持同时记录参与同一认知活动的多人外周生理活动，分析生理活动同步及其与行为指标间的关系及其机制

- 结合经验取样法或生态瞬时评估法（ESM/EMA），支持开展各类纵向数据、移动式数据收集和研究，数据采集成本低，评估客观、高效，研究结果具有更高生态效度

- 提供丰富的具有先验知识的特征指标的计算，支持原始数据和特征数据的下载，支持原始数据和特征数据的接口开发

- 集成一体化设计、体积小巧、方便携带，适用于缺网、缺电、高噪等作业环境下使用

应用案例

-群体共享情绪识别研究

     本研究采用超扫描技术，以中科院心理所建立的标准华语情绪电影库为实验素材，诱发4种特定的情绪状态。研究者招募了 144 名大学生被试，6 人一组进行群体观影实验，同时佩戴手环记录 6 人的生理、行为和环境数据。

    研究人员从脉搏和皮肤电阻信号中提取了 80 多个具有心理学先验知识的时频域特征，并输入到支持向量机、随机森林、深度置信网络、长短时记忆网络等模型中进行四分类学习。

-玩电脑游戏时的用户情感体验研究

    本研究以男性大学生为研究群体，要求他们在电脑上玩“五子棋”游戏时全程佩戴手环，记录他们的生理数据；用户在游戏过程中的主观感受（如无聊、有趣、兴奋）在游戏结束后进行反馈。

    研究结果发现，用户在朋友一起游戏时的皮肤电导反应（SCR）明显高于与电脑对打时的皮肤电导反应，且自我报告在朋友对打时觉得更加有趣和兴奋。相关分析的结果也发现，皮肤电导反应与自我报告的有趣程度正相关，与挫折感负相关。

-皮肤电信号预测合作行为研究

    本研究让两个被试在电脑上完成“囚徒困境”的实验范式，同步记录两个人的心率、皮肤电阻、眼动轨迹、肌电等生理和行为数据。实验条件分为能看到彼此和看不到彼此两个条件，通过该实验研究合作过程中的生理变化情况。

    研究发现，在被试能看到彼此的条件下，心率和皮肤电导水平（SCL）开始变得同步，且这种正向的同步联系会变得更强。SCL能够预测两人的成功合作行为。

-基于HR和EDA信号预测学生学业成绩研究

   本研究使用可穿戴设备，记录学生在真实语文和数学课堂中的皮肤电阻和心率数据，探讨这些生理数据与学生学业成绩的关系。

   本研究共招募了 100 名七年级的学生，连续记录了他们在 10 天语文和数学课堂中的生理数据。

    研究结果发现，学生课堂过程中的皮肤电导水平（SCL）和皮肤电导反应（SCR）与其学业成绩存在显著的相关。

-中科院心理所2021年启动抑郁症长期追踪项目“心花计划”

    针对抑郁症的追踪研究，项目周期10年，涵盖抑郁症患者和亚临床抑郁状态两个群体。

    旨在采用脑影像、可穿戴设备等多种研究手段，建立抑郁症精准诊断和分型的客观标记，探索基于中国文化的新型心理干预技术，并发展药物之外的无创神经调控新疗法。

    采用经验采样法，通过可穿戴手环记录脉搏、皮肤电阻、皮肤温度、运动加速度、角速度、睡眠质量等数据，以及通过手机APP采集语音、自陈问卷、手机使用情况等多种数

-驾驶过程中驾驶员心理压力识别研究

     本实验采用了 MIT-BIH 数据集。该数据集通过可穿戴设备收集了多个驾驶员在实际驾驶过程中的皮肤电阻、心率等生理数据。

    研究人员对皮肤电阻数据进行了预处理、特征提取等一系列规范化处理后，对结果进行了统计检验。研究结果发现，驾驶员在驾驶过程中的压力水平可分成三个等级，各个压力等级之间存在显著差异。