prime and reach

该数据集从五个不同的数据源（HD-EPIC、MoGaze、HOT3D、ADT、GIMO）中精选了prime和reach序列，提供了运动和注视数据。数据按源数据集组织，每个数据集文件夹包含motions和gazes子目录。motions文件夹包含每个序列的22个关节位置数据，gazes文件夹包含每个序列的注视信息，target_information.json包含与目标位置、文本提示、训练/测试子集和primed帧数相关的信息。

This dataset curates prime and reach sequences from five distinct data sources: HD-EPIC, MoGaze, HOT3D, ADT, and GIMO, providing motion and gaze data. The data is organized by source datasets, with each dataset folder containing two subdirectories: motions and gazes. The motions subdirectory holds 22-joint position data for each sequence, while the gazes subdirectory stores gaze information for each sequence. The target_information.json file includes relevant information related to target positions, text prompts, training/test splits, and the number of primed frames.

原始信息汇总

Prime and Reach 数据集概述

数据集简介

本数据集为论文《Prime and Reach: Synthesising Body Motion for Gaze-Primed Object Reach》的官方数据集，旨在为基于视线引导的物体抓取动作合成提供运动和视线数据。

数据来源与构成

数据集从以下5个公开数据集中筛选并构建了“Prime and Reach”序列：

• HD-EPIC
• MoGaze
• HOT3D
• ADT
• GIMO

数据组织与结构

数据按来源数据集组织。每个数据集文件夹下包含motions、gazes子目录和一个target_information.json文件。

目录结构如下：

root/ ├── HD-EPIC/ │ ├── motions/ │ ├── gazes/ │ └── target_information.json ├── MoGaze/ │ ├── motions/ │ ├── gazes/ │ └── target_information.json ├── HOT3D/ │ ├── motions/ │ ├── gazes/ │ └── target_information.json ├── ADT/ │ ├── motions/ │ ├── gazes/ │ └── target_information.json └── GIMO/ ├── motions/ ├── gazes/ └── target_information.json

数据内容与格式

运动数据 (motions/)

• 每个序列以0000000000.npy, 0000000001.npy, ...格式存储。
• 每个.npy文件对应一个独立序列。
• 数据形状为Nx22x3，其中N为序列长度，22个关节，每个关节有3D坐标。
• 坐标系为+y轴向上（y轴为重力轴）。

视线数据 (gazes/)

• 每个序列的视线信息以与运动数据同名的.npy文件存储。
• 数据形状为Nx3，表示从头部关节出发的3D单位向量(x, y, z)。

目标信息 (target_information.json)

• 包含每个序列的目标位置、文本提示、训练/测试子集划分以及“primed”帧编号。
• JSON文件中的每个键对应一个独立序列，其下提供所有相关信息。

数据获取

数据集下载地址：https://uob-my.sharepoint.com/:f:/g/personal/ve22636_bristol_ac_uk/IgCGqhTjsmu8T6V1LJS8ydcFAVubcEW-b4UCIP60kIokv-w?e=6flrzW

引用

本数据集

bibtex @article{hatano2025primeandreach, title={Prime and Reach: Synthesising Body Motion for Gaze-Primed Object Reach}, author={Hatano, Masashi and Sinha, Saptarshi and Chalk, Jacob and Li, Wei-Hong and Saito, Hideo and Damen, Dima}, journal={arXiv preprint arxiv:2512.16456}, year={2025} }

源数据集

使用本数据集时，请同时引用其构建所基于的五个源数据集（引用格式详见提供的README内容）。

搜集汇总

数据集介绍

构建方式

在人体运动合成与视觉注意机制交叉领域，Prime and Reach数据集通过精心整合五个权威数据集构建而成。研究者从HD-EPIC、MoGaze、HOT3D、ADT及GIMO中筛选出注视引导的物体抓取序列，统一处理为标准化格式。每个序列包含22个关节的三维位置数据与头部出发的注视方向单位向量，并以+y轴为重力方向的坐标系进行对齐。目标位置、文本描述、训练测试划分及注视启动帧等元数据均通过独立的JSON文件进行系统化标注，确保了多源数据在时空与语义层面的一致性。

使用方法

使用本数据集时，研究者可按照源数据集名称访问对应的文件夹结构，其中motions子目录存放形状为N×22×3的关节位置序列，gazes子目录则存储形状为N×3的注视方向向量。通过解析target_information.json文件，可获得每个序列的目标信息、文本提示及划分标签。该设计支持直接加载NPY文件进行运动生成、注视预测或跨模态对齐等任务的模型训练，同时便于在统一框架下对比不同数据源的特性，推动人体运动合成与视觉注意机制的联合建模研究。

背景与挑战

背景概述

在计算机视觉与人机交互领域，理解人类如何协调视线与身体动作以完成目标导向任务，是推动具身智能与机器人技术发展的核心议题。Prime and Reach数据集由Masashi Hatano等研究人员于2025年构建，旨在探索视线引导下的物体抓取运动合成问题。该数据集整合了HD-EPIC、MoGaze、HOT3D、ADT及GIMO五个高质量源数据集，提供了同步的运动序列与三维凝视向量数据，聚焦于视线如何作为先导信号触发并引导全身动作朝向目标物体。这一工作不仅深化了对人类行为中感知-运动耦合机制的计算建模，也为生成自然且符合意图的人体运动奠定了数据基础，对机器人模仿学习与虚拟角色动画具有重要影响。

当前挑战

Prime and Reach数据集致力于解决视线引导的物体抓取运动合成这一复杂任务，其核心挑战在于如何建模视线与全身动作间的高维时空关联，并生成既符合物理约束又忠实于视觉意图的连续运动序列。具体而言，数据整合过程面临多源异构性挑战：各原始数据集在运动表示格式、坐标系、采样频率及传感器校准方面存在差异，需进行精细的对齐与归一化处理。同时，确保视线数据与关节运动在时间上的精确同步，以及标注目标物体的空间位置与语义信息，均对数据集的可靠性与一致性提出了严格要求。这些挑战使得构建一个统一、高质量的跨数据集基准变得尤为复杂。

常用场景

经典使用场景

在计算机视觉与机器人学领域，Prime and Reach数据集为研究视线引导的全身运动合成提供了关键资源。该数据集整合了来自HD-EPIC、MoGaze等多个权威数据源的运动与视线序列，其核心应用场景在于训练和评估生成模型，以模拟人类在注视目标后执行抓取或接触动作的连贯行为。通过提供精确的关节位置与三维视线向量，研究者能够深入探索视线如何作为运动意图的先导信号，进而生成符合物理规律且目标导向的人体运动轨迹。

解决学术问题

该数据集主要解决了人机交互与运动生成中视线与动作协同建模的学术难题。传统方法往往将视线与身体运动视为独立变量，难以捕捉二者在时序上的因果关联。Prime and Reach通过提供同步的视线与运动数据，使研究人员能够构建联合表征模型，揭示视线对后续运动规划的引导机制。这不仅推进了具身智能中对人类行为意图的理解，也为生成自然、拟人的运动序列提供了可量化的基准，显著提升了运动预测的准确性与真实性。

实际应用

在实际应用层面，Prime and Reach数据集为虚拟现实、仿人机器人及辅助技术开发提供了重要支撑。在虚拟现实中，该数据可用于生成沉浸式角色动画，使虚拟人物的视线与抓取动作自然衔接，增强用户体验。在机器人领域，基于视线先导的运动生成能帮助服务机器人更早预判人类意图，实现流畅协作。此外，该数据集还可应用于康复医疗中的运动分析，通过视线模式评估患者的动作协调能力，为个性化训练方案提供数据依据。

数据集最近研究

最新研究方向

在具身智能与人机交互领域，视线引导的物体抓取动作生成正成为前沿热点。Prime and Reach数据集通过整合HD-EPIC、MoGaze等五个权威数据源，首次系统构建了视线先导与全身运动序列的对应关系，为理解人类意图到动作执行的神经机制提供了关键数据基础。该数据集直接推动了生成式人体运动模型的发展，使AI能够根据实时视线信号预测并合成自然的抓取轨迹，在服务机器人、虚拟现实交互及运动康复训练中展现出重要应用潜力。其多模态融合框架也为跨数据集学习与泛化能力研究设立了新基准，加速了以视觉感知驱动动作合成的技术演进。