QUB-PHEO

QUB-PHEO是一个视觉为基础的二元多视角数据集，旨在推动装配操作中的人机交互（HRI）和意图推理研究。该数据集捕捉了两个参与者之间的丰富多模态互动，其中一个充当“机器人代理”，涵盖多种装配任务，细分为36个不同的子任务。数据集包含丰富的视觉注释，如面部标志、注视、手部动作、物体定位等，共有70名参与者。QUB-PHEO提供两个版本：50名参与者的完整视频数据和所有70名参与者的视觉提示。设计用于改进HRI的机器学习模型，QUB-PHEO能够深入分析细微的互动线索和意图，有望为该领域做出贡献。数据集的应用领域主要集中在复杂装配任务中的人机协作，旨在解决机器人如何准确理解和响应人类意图的问题。QUB-PHEO is a vision-based two-participant multi-view dataset developed to advance human-robot interaction (HRI) and intent inference research in assembly operations. This dataset captures rich multimodal interactions between two participants, where one assumes the role of the "robot agent", covering various assembly tasks categorized into 36 distinct subtasks. Involving a total of 70 participants, the dataset provides comprehensive visual annotations including facial landmarks, gaze tracking, hand movements, object localization and other relevant cues. QUB-PHEO offers two variants: full-length video data from 50 participants and visual prompts derived from all 70 participants. Tailored to enhance machine learning models for HRI, QUB-PHEO enables in-depth analysis of subtle interaction cues and intents, and holds promising potential to contribute to the relevant research field. The dataset is primarily applied in human-robot collaboration for complex assembly tasks, aiming to address the problem of how robots can accurately understand and respond to human intentions.

搜集汇总

数据集介绍

构建方式

QUB-PHEO数据集通过精心设计的实验设置，模拟了真实的装配操作环境，以捕捉人类互动的动态。该数据集采用五摄像头设置，从多个视角记录了70名参与者与机器人代理之间的互动，涵盖了36个不同的子任务。数据收集过程中，参与者被要求执行一系列装配任务，而研究人员则扮演机器人代理的角色，以确保互动的自然性和动态性。通过这种方式，数据集不仅捕捉了丰富的视觉线索，如面部标志、注视、手部动作和物体定位，还通过子任务编码详细记录了每个任务的步骤和互动细节。

特点

QUB-PHEO数据集的显著特点在于其多视角和多模态的数据收集方式，这使得研究人员能够从多个角度全面分析人类互动的动态。数据集包含了丰富的视觉注释，包括面部标志、注视方向、手部动作和物体定位，这些注释为深入理解人类互动提供了详细的数据支持。此外，数据集通过子任务编码，将复杂的装配任务分解为36个不同的子任务，这不仅增加了数据集的复杂性，也提高了算法在解释和推断人类意图时的精确性。

使用方法

QUB-PHEO数据集可用于多种人机交互研究任务，包括子任务分类和意图推断。在子任务分类任务中，研究人员可以使用数据集中的视频帧或提取的关键点序列，训练模型以识别和分类不同的子任务。在意图推断任务中，数据集可以用于训练模型，以预测参与者在给定子任务序列后的下一个动作。此外，数据集还可用于开发和验证基于视觉线索的意图推断算法，以及研究人类在装配任务中的非语言沟通模式。通过这些应用，QUB-PHEO数据集为研究人员提供了一个丰富的资源，以推动人机交互领域的发展。

背景与挑战

背景概述

QUB-PHEO数据集由Queen's University Belfast的Samuel Adebayo、Se´an McLoone和Joost C. Dessing等人创建，旨在推动协作装配操作中的人机交互（HRI）研究。该数据集于2024年发布，通过捕捉两个参与者之间的多模态互动，特别是其中一个扮演'机器人代理'的角色，来深入研究意图推理。数据集包含70名参与者的丰富视觉注释，涵盖面部标志、注视、手部动作、物体定位等，分为50名参与者的完整视频数据和所有70名参与者的视觉提示数据。QUB-PHEO数据集的设计旨在提升HRI的机器学习模型，通过深入分析微妙的互动线索和意图，为该领域做出贡献。

当前挑战

QUB-PHEO数据集在构建过程中面临多项挑战。首先，该数据集解决了在复杂装配任务中准确推断人类意图的难题，这些任务通常涉及手部和物体操作的复杂性。其次，构建过程中遇到的挑战包括多视角数据的采集和处理，确保从不同角度捕捉的信息能够无缝整合。此外，数据集还需要处理多模态数据的同步和注释，以确保每个视觉线索的准确性和一致性。最后，数据集的创建还涉及到模拟机器人视角的复杂性，通过人类代理来捕捉可能的机器人交互模式，这为实际机器人系统的设计和行为提供了宝贵的见解。

常用场景

经典使用场景

QUB-PHEO数据集的经典使用场景在于其能够通过多视角和多模态的数据捕捉，深入分析协作装配任务中的人类意图推理。该数据集通过丰富的视觉注释，如面部标志、注视、手部动作和物体定位等，为研究人类-机器人交互（HRI）提供了宝贵的资源。具体应用包括开发和改进机器学习模型，以更好地理解和预测人类在装配任务中的行为和意图，从而提升人机协作的效率和自然性。

解决学术问题

QUB-PHEO数据集解决了在复杂装配任务中准确推断人类意图的学术难题。传统的单视角数据集往往无法全面捕捉人类行为的复杂性，而该数据集通过多视角数据和详细的子任务编码，为研究人员提供了更全面的视觉表示。这不仅有助于提高意图推理算法的精度，还为开发能够理解和适应人类行为的机器人系统提供了基础，推动了HRI领域的研究进展。

衍生相关工作

QUB-PHEO数据集的发布催生了一系列相关研究工作，特别是在意图推理和任务预测领域。研究人员利用该数据集开发了多种先进的机器学习模型，用于解析和预测人类行为。此外，该数据集还促进了多模态数据融合技术的研究，以提高机器人对复杂人类行为的理解能力。这些衍生工作不仅扩展了HRI的研究范围，也为实际应用中的机器人系统提供了技术支持。