PinSoRo, MHHRI, P2PSTORY, UE-HRI, GoLD

PinSoRo：一个大型（120名儿童，超过45小时的校准RGB-D视频录制），公开数据集，记录了儿童与儿童及儿童与机器人之间的社交互动；包含社交结构注释，3D面部录制，骨骼信息，视频和音频录制，以及游戏互动日志。MHHRI：用于研究人类-人类交互（HHI）和人类-机器人交互（HRI）中同时存在的个性及其与参与度的关系；包含数据，音频，视频，深度，EDA，温度，3轴手腕加速度传感器数据以及自我/熟人评估的个性，自我报告的参与度测量，共2个人类-人类和3个人类-机器人交互（总计6小时）。P2PSTORY：包含（i）时间同步视频和音频录制，（ii）行为和韵律特征注释，（iii）人口统计和社交情感发展概况，以及儿童对其交互伙伴在注意力和理解方面的感知有效性的主观测量。UE-HRI：机器人与人类之间自发交互的数据集，其中54次交互（每次持续4至15分钟）；包含不同级别的参与度注释和交互的主观评级。GoLD：一个多模态数据集，包含人们使用口头或书面语言描述的常见家用物品。PinSoRo: A large-scale (120 children, over 45 hours of calibrated RGB-D video recordings), publicly available dataset documenting social interactions between children and children, and children and robots; includes social structure annotations, 3D facial recordings, skeletal information, video and audio recordings, and game interaction logs. MHHRI: Used to study the coexistence of personality in human-human interaction (HHI) and human-robot interaction (HRI) and its relationship with engagement; includes data, audio, video, depth, EDA, temperature, 3-axis wrist accelerometer data, and self/acquaintance assessed personality, self-reported engagement measures, totaling 2 human-human and 3 human-robot interactions (total 6 hours). P2PSTORY: Contains (i) time-synchronized video and audio recordings, (ii) behavioral and prosodic feature annotations, (iii) demographic and socio-emotional development profiles, and subjective measures of children's perceived effectiveness of their interaction partners in attention and understanding. UE-HRI: A dataset of spontaneous interactions between robots and humans, with 54 interactions (each lasting 4 to 15 minutes); includes annotations of different levels of engagement and subjective ratings of interactions. GoLD: A multimodal dataset containing common household items described by people using spoken or written language.

原始信息汇总

HRI 数据集概述

PinSoRo

• 规模: 包含120名儿童，超过45小时的校准RGB-D视频记录。
• 内容: 儿童与儿童、儿童与机器人之间的社交互动数据集，包含社交构建的注释、3D面部记录、骨骼信息、视频和音频记录以及游戏互动日志。

MHHRI

• 目的: 研究人类-人类交互（HHI）和人类-机器人交互（HRI）中同时存在的个性及其与参与度的关系。
• 内容: 包含数据、音频、视频、深度、EDA、温度、3轴腕部加速度传感器数据以及自我/熟人评估的个性和自我报告的参与度测量，涉及2次人类-人类和3次人类-机器人交互（总计6小时）。

P2PSTORY

• 内容: 包含时间同步的视频和音频记录、行为和韵律特征注释、以及人口统计和社交情感发展概况，以及儿童对其互动伙伴在注意力和理解方面的主观有效性评价。

UE-HRI

• 特点: 自发的人类与机器人互动数据集，包含54次互动（每次4至15分钟）。
• 内容: 包含不同级别的参与度注释和互动的主观评级。

GoLD

• 类型: 多模态数据集。
• 内容: 包含人们使用口语或书面语言描述的常见家用物品。

搜集汇总

数据集介绍

构建方式

在构建PinSoRo数据集时，研究者们精心设计了一个包含120名儿童和超过45小时的校准RGB-D视频记录的实验环境。该数据集不仅捕捉了儿童与儿童以及儿童与机器人之间的社交互动，还详细记录了社交结构、3D面部数据、骨骼信息、视频和音频记录以及游戏互动日志。这些数据的收集和标注过程严格遵循科学实验的标准，确保了数据的高质量和可靠性。

特点

PinSoRo数据集的显著特点在于其多模态数据的丰富性和深度。该数据集不仅包含了视频和音频记录，还整合了3D面部数据和骨骼信息，为研究者提供了全面的社交互动分析工具。此外，数据集中的社交结构标注和游戏互动日志为理解儿童在不同互动情境中的行为模式提供了宝贵的资源。

使用方法

使用PinSoRo数据集时，研究者可以通过访问其开放的数据接口，获取包括视频、音频、3D面部数据和骨骼信息在内的多模态数据。数据集的标注信息和游戏互动日志可以作为分析儿童社交互动和机器人互动效果的重要依据。研究者可以利用这些数据进行机器学习模型的训练，以预测和分析儿童在不同互动情境中的行为和反应。

背景与挑战

背景概述

在人机交互（HRI）领域，PinSoRo、MHHRI、P2PSTORY、UE-HRI和GoLD等数据集的创建，标志着对复杂社会互动和多模态数据分析的深入探索。PinSoRo数据集由120名儿童和超过45小时的校准RGB-D视频记录组成，涵盖了儿童与儿童及儿童与机器人之间的社交互动，提供了丰富的社交结构注释、3D面部记录、骨骼信息、视频和音频记录以及游戏互动日志。MHHRI数据集则专注于研究人类与机器人互动中的个性特征及其与参与度的关系，包含数据、音频、视频、深度、EDA、温度、三轴手腕加速度传感器数据以及自我/熟人评估的个性和自我报告的参与度测量。P2PSTORY数据集通过时间同步的视频和音频记录、行为和韵律特征注释以及儿童的感知有效性评估，深入分析了儿童与其互动伙伴之间的互动效果。UE-HRI数据集记录了机器人与人类之间的自发互动，提供了不同层次的参与度注释和主观互动评级。GoLD数据集则聚焦于家庭常见物品的多模态描述，通过口头或书面语言进行表达。这些数据集的创建，不仅丰富了HRI领域的研究资源，也为跨学科研究提供了宝贵的数据支持。

当前挑战

尽管这些数据集在HRI领域具有重要价值，但其构建和应用过程中仍面临诸多挑战。首先，数据集的多样性和复杂性要求高精度的多模态数据处理和分析技术，以确保数据的准确性和一致性。其次，隐私和伦理问题在涉及儿童和敏感个人信息的数据集中尤为突出，需严格遵守相关法律法规和伦理准则。此外，数据集的规模和注释的精细度对计算资源和算法性能提出了高要求，如何在有限的资源下高效处理大规模数据仍是一个技术难题。最后，数据集的通用性和可扩展性也是一大挑战，如何在不同应用场景和研究需求中灵活应用这些数据集，仍需进一步探索和优化。

常用场景

经典使用场景

在人机交互（HRI）领域，PinSoRo数据集以其丰富的多模态数据成为研究儿童与机器人及儿童之间社交互动的经典工具。该数据集包含超过45小时的校准RGB-D视频记录，涵盖120名儿童的社交互动，提供了面部3D记录、骨骼信息、视频和音频记录以及游戏交互日志。这些数据为研究者提供了深入分析儿童社交行为和机器人互动策略的宝贵资源。

衍生相关工作

基于PinSoRo数据集，研究者们开展了多项经典工作，包括开发新型社交机器人算法、设计儿童友好型机器人界面以及探索儿童社交行为的计算模型。例如，有研究利用数据集中的面部3D记录，开发了能够实时识别和响应儿童情绪变化的机器人系统。这些衍生工作不仅丰富了人机交互领域的理论基础，还推动了相关技术的实际应用。

数据集最近研究

最新研究方向

在人机交互（HRI）领域，PinSoRo、MHHRI、P2PSTORY、UE-HRI和GoLD等数据集的最新研究方向主要集中在多模态数据的融合与分析上。这些数据集不仅包含了丰富的视频、音频和深度信息，还涵盖了社交行为、情感状态和个性特征的标注。研究者们正致力于开发先进的算法，以从这些多模态数据中提取有意义的特征，从而提升机器人对人类行为的理解和响应能力。此外，这些数据集还被广泛应用于评估和优化人机交互系统的性能，特别是在社交机器人和教育机器人的设计与开发中，展示了其在推动人机交互技术进步中的重要作用。