NeuroEngage
收藏资源简介：
This dataset contains raw fMRI data of human-human and human-robot bidirectional free conversations with varying levels of conversational engagement from a total of 50 participants (N HHI = 30, N HRI = 20). Each participant held three 10-minute conversations in Swedish with either a human confederate or a robot operated via a VR telepresence interface. Each functional run contains 11 min 45 sec of recording with 1.2 sec TR. The functional run structure was as follows: fixation cross (15 sec) -> conversation (10 min) -> message to wrap up the discussion -> remaining of conversation (20 sec, not included in the rest of the data) -> blank screen (2 sec) -> fixation cross (15 sec). Directory sourcedata contains multimodal behavioral data (eye tracking, segmented audio and video). Details on the technical setup for replication can be found in the comments below. Details of the experiment are reported in: E. Torubarova, C. Arvidsson, J. Berrebi, J. Uddén, and A. Pereira, “Neuroengage: A multimodal dataset integrating fmri for analyzing conversational engagement in human-human and human-robot interactions,” in Proceedings of the 2025 ACM/IEEE International Conference on Human-Robot Interaction (HRI), IEEE, 2025 Notes: - sub-09, sub-10, sub-17, sub-37, sub-39 are excluded from the dataset due to various procedural issues. - sub-16_run-03 contains 3 minutes of conversation - some data types (audio or eye tracking) are missing for some of the participants. For details, see participants.tsv - anatomical volumes were defaced using pydeface 2.0.2 [Preprocessed data and questionnaire results: to be uploaded]
本数据集包含共50名受试者的人类间（HHI）与人类-机器人（HRI）双向自由对话的原始功能磁共振成像（fMRI）数据，对话的投入程度存在差异，其中人类-人类交互组（HHI）30名，人类-机器人交互组（HRI）20名。每名受试者将以瑞典语开展三轮时长10分钟的对话，对话对象分别为人类实验合作者或通过VR远程临场界面操控的机器人。 每项功能成像扫描时长为11分45秒，重复时间（TR）为1.2秒。功能扫描流程如下：固定十字注视（15秒）→ 对话（10分钟）→ 讨论收尾提示语→ 剩余对话内容（20秒，未纳入本数据集的其余部分）→ 黑屏（2秒）→ 固定十字注视（15秒）。 sourcedata目录包含多模态行为学数据（眼动追踪、分段音视频数据）。 关于实验技术设置的详细复现信息可参见下文注释。本实验的详细细节已发表于：E. Torubarova、C. Arvidsson、J. Berrebi、J. Uddén与A. Pereira的论文"Neuroengage：一款整合功能磁共振成像的多模态数据集，用于分析人类间及人类-机器人交互中的对话投入程度"，收录于2025年ACM/IEEE国际人机交互会议（HRI）论文集，IEEE出版社，2025年。 备注： - 由于各类实验流程问题，sub-09、sub-10、sub-17、sub-37、sub-39已从本数据集中剔除。 - sub-16_run-03的对话时长为3分钟。 - 部分受试者存在部分数据类型（音视频或眼动追踪）缺失的情况，具体细节请参见participants.tsv文件。 - 解剖影像体积已使用pydeface 2.0.2进行了去标识化处理。 [预处理数据与问卷结果：待上传]
