ntu-galaxea-deploy-head-only-fanta-can-teleop

该数据集是NTU Galaxea头部单独Fanta罐遥操作数据集，采集于2026年9月4日至5日，使用Galaxea R1 Pro机器人执行Fanta罐的抓取放置遥操作任务。数据包含50个原始、异步的ROS 2录制，每个录制存储为一个HDF5文件，总大小约1.99 GB，总录制时长21分7.33秒。每个HDF5文件包含头部RGB图像（640×360，JPEG压缩）、机器人关节反馈（左右臂、左右夹爪、底盘、躯干）、运动目标（关节目标、夹爪目标、底盘速度目标）以及里程计信息。此外，右腕RGB流（640×480，JPEG压缩）在4个录制中可用。数据集中包含头部相机预览视频（MP4格式，共50个，96.96 MB）。所有文件遵循统一的HDF5 schema（r1pro_h5_raw_v1），包含根属性（如时间戳、消息计数、主题列表）和15个主题组。每个主题组包含时间戳、序列号、名称标签、位置、速度、力等字段，其中图像数据通过偏移量和大小的字节数组实现。数据适用于机器人遥操作、抓取放置、多模态传感器融合、时间序列分析等任务，但需注意流是异步的，需通过时间戳对齐，且缺少任务标注、成功标签、数据划分、深度图、相机标定和机器人配置信息。This dataset is the NTU Galaxea Head-Only Fanta Can Teleoperation Dataset, collected on September 4-5, 2026, using the Galaxea R1 Pro robot to perform pick-and-place teleoperation tasks for Fanta cans. The data includes 50 raw, asynchronous ROS 2 recordings, each stored as an HDF5 file, totaling approximately 1.99 GB with a total recording duration of 21 minutes and 7.33 seconds. Each HDF5 file contains head RGB images (640×360, JPEG compressed), robot joint feedback (left/right arms, left/right grippers, chassis, torso), motion targets (joint targets, gripper targets, chassis velocity targets), and odometry information. Additionally, right wrist RGB streams (640×480, JPEG compressed) are available in 4 recordings. The dataset includes head camera preview videos (MP4 format, 50 files, 96.96 MB). All files follow a unified HDF5 schema (r1pro_h5_raw_v1), containing root attributes (e.g., timestamps, message counts, topic lists) and 15 topic groups. Each topic group includes timestamps, sequence numbers, name labels, positions, velocities, forces, etc., with image data stored as byte arrays with offset and size. The data is suitable for tasks such as robot teleoperation, pick-and-place, multimodal sensor fusion, and time series analysis, but note that streams are asynchronous and require timestamp alignment, and the dataset lacks task annotations, success labels, data splits, depth images, camera calibration, and robot configuration information.

原始信息汇总

数据集概览

NTU Galaxea Head-Only Fanta Can Teleoperation 是一个面向机器人操作研究的原始遥操作（Teleoperation）数据集，记录于2026年9月4日至5日（新加坡时间 UTC+08:00）。该数据集使用 Galaxea R1 Pro 机器人执行 Fanta 易拉罐的抓取与放置（Pick-and-Place）任务，存储格式为异步 ROS 2 原始录音（HDF5）及对应的头部相机预览视频（MP4）。所有数据文件均采用统一的 r1pro_h5_raw_v1 模式（Schema）。

核心数据规模

• 录音文件：50 个 HDF5 文件，总大小 1.99 GB（1.85 GiB）
• 头部相机预览视频：50 个 MP4 文件，总大小 96.96 MB（92.46 MiB）
• 总录制时长：21 分 7.33 秒
• 单次录制时长范围：12.63 秒 至 56.97 秒（中位数 23.62 秒）
• 消息总数：496,451 条（覆盖所有主题）
• 捕获时间跨度：2026年9月4日 20:56:32 至 9月5日 18:14:57（SGT）

数据文件组织

仓库根目录下的 deploy-05-09-2026/ 文件夹存放所有数据，包含：

• HDF5 文件：50 个 .h5 文件，文件名格式为 日期_时间_纳秒.h5（如 260905_150317_513908594.h5），时间戳与文件根属性 started_at_ns 精确对应。
• 视频预览：videos/ 子目录中的 50 个 MP4 文件，每个对应一个 HDF5 录音的头部相机 RGB 流（H.264 编码，640 × 360 分辨率，无音频，帧率约 12.89 FPS，共 16,203 帧）。

HDF5 数据架构

每个 HDF5 文件包含根属性（root attributes）和 topics/ 组。根属性包括：schema_version、started_at_ns、ended_at_ns、message_count、selected_topics_json、ros_domain_id（本版本为 62）、ros_localhost_only。topics/ 组下包含 15 个主题组（topic groups），每个主题组存储独立的时间序列数据，通用字段包括：

字段	dtype	含义
stamp_ns	int64[N]	逐记录的时间戳（Unix 纳秒）
sequence	uint64[N]	逐流的序列值
names_json	变长 UTF-8 字符串 [N]	名称或部件标签（JSON 编码）
position	变长 float64 数组 [N]	位置或归一化向量值
velocity	变长 float64 数组 [N]	速度值（可能为空）
effort	变长 float64 数组 [N]	力/力矩值（可能为空）

• 相机图像存储：图像消息采用单个拼接字节数组存储，通过 payload_offset 与 payload_size 索引提取。头部 RGB 为 640 × 360 JPEG（解码后为 BGR 顺序的 uint8[360,640,3]），右腕 RGB 为 640 × 480 JPEG（解码后为 BGR 顺序的 uint8[480,640,3]），后者仅在 4 个文件中被填充。
• 里程计数据（/odom 组）：存储密集 float64 数组，其 position 为 [N,3] 笛卡尔坐标，orientation 为 [N,4] 四元数，以及 linear_velocity 和 angular_velocity（均为 [N,3]）。

主题清单与数据覆盖情况

ROS 主题	ROS 类型	文件数	记录数	约频率
/hdas/camera_head/rgb/image_rect_color/compressed	CompressedImage	50	16,203	~12.89 Hz
/hdas/camera_wrist_right/color/image_raw/compressed	CompressedImage	4	472	~4.94 Hz
/hdas/feedback_arm_left	JointState	50	74,097	~58.79 Hz
/hdas/feedback_arm_right	JointState	50	74,097	~58.79 Hz
/hdas/feedback_gripper_left	JointState	50	74,097	~58.79 Hz
/hdas/feedback_gripper_right	JointState	50	74,097	~58.79 Hz
/hdas/feedback_chassis	JointState	50	74,097	~58.79 Hz
/hdas/feedback_torso	JointState	50	74,097	~58.79 Hz
/odom	Odometry	50	10,649	~8.46 Hz
/motion_target/target_joint_state_arm_left	JointState	14	80	~19.84 Hz
/motion_target/target_joint_state_arm_right	JointState	50	12,136	~14.06 Hz
/motion_target/target_position_gripper_left	JointState	14	80	~19.84 Hz
/motion_target/target_position_gripper_right	JointState	50	12,136	~14.06 Hz
/motion_target/target_joint_state_torso	JointState	0	0	—
/motion_target/target_speed_chassis	TwistStamped	48	113	~0.08 Hz

• 所有 50 个文件均完整填充头部相机、机器人反馈（左右臂、左右夹爪、底盘、躯干）、右臂目标、右夹爪目标与里程计数据流。
• 右腕 RGB 流仅在前 4 个按时间排序的录音中被填充（例如 260904_205632_310359163.h5 等）。
• 左臂与左夹爪目标流在 14 个文件中被填充，底盘速度目标流在 48 个文件中被填充（有 2 个文件缺失），躯干目标流在所有文件中均为空。
• 数据流为异步且具有不同频率，跨主题的对齐需依据 stamp_ns 字段采用最近邻匹配或重采样方法。

使用说明

• 读取环境：基于 Python 的 h5py 与 numpy 库；图像解码需额外使用 opencv-python。
• 数据获取：HDF5 与 MP4 文件经 Git LFS 托管，需先运行 git lfs install 与 git lfs pull 命令克隆并拉取文件。
• 数据集限制：
  • 不包含任务标注、成功标签、训练/验证/测试划分、深度流、相机标定或机器人配置文件。
  • 数据内未声明机械臂关节顺序或数值单位，需参考 Galaxea R1 Pro 对应的配置。
  • 当前仓库未包含许可证文件，使用与再分发条款需与数据集所有者确认。

搜集汇总

数据集介绍

构建方式

该数据集源自南洋理工大学针对Galaxea R1 Pro机器人进行的头戴式遥操作芬达罐拾取与放置任务采集，以原始异步ROS 2消息流形式存储于50个HDF5文件中。每个文件对应一段独立录制，内含头部RGB图像、机器人状态反馈、运动指令目标及里程计数据，另在部分片段中补充右腕RGB视觉流。构建过程严格遵循制定的事件驱动采集协议，文件命名以新加坡时间戳标识起始时刻，并统一采用r1pro_h5_raw_v1模式，确保所有文件在分组结构、字段类型及主题元数据层面保持高度一致性，整体覆盖时长逾21分钟，累计消息近五十万条。

特点

该数据集兼具精细的异构时序特性和完整的机器人状态覆盖，同步记录左右臂、夹爪、底盘及躯干的关节反馈与目标指令，并以约58.79 Hz的高频反馈和12.89 Hz的头部视觉流捕捉操作细节。尤为突出的是其异步多模态架构，各主题保留独立时间戳与序列号，支持灵活的时间对齐研究。数据总量约1.99 GB，包含50段时长各异（12.63至56.97秒）的操作片段，且无任务标注或训练划分，旨在提供原始遥操作过程数据，适用于机器人学习、运动规划及多模态感知领域的真实场景研究。

使用方法

使用该数据集时，需通过h5py与numpy库读取HDF5文件，按顶层属性定位录制元数据，通过主题分组访问各数据流，其中图像数据采用拼接字节数组存储，需利用payload_offset与payload_size字段提取后解码。由于各主题记录异步异步且频率不一，建议依据stamp_ns字段执行最近邻匹配或重采样以实现时间对齐。同时需注意部分片段缺失左臂或踝部目标流、右腕图像以及底盘速度目标，且所有文件均不含躯干目标数据，建模前应显式处理空组。另外，须遵循Git LFS规范拉取完整文件，并确认数据集使用许可。

背景与挑战

背景概述

该数据集由新加坡南洋理工大学于2026年9月创建，旨在支持机器人操作领域的遥操作研究。核心研究问题聚焦于利用人形机器人Galaxea R1 Pro执行芬达罐拾放任务的原始异步ROS 2数据采集，为模仿学习、机器人控制及多模态感知提供基础数据。数据集包含50段HDF5记录，涵盖头部视觉、机械臂与夹爪状态、里程计等多源信息，其全面性与高频率数据（约59 Hz）为机器人学习算法提供了宝贵资源，对该领域的发展具有重要推动作用。

当前挑战

该领域面临的主要挑战包括：遥操作数据的异步性导致多传感器时间对齐困难，不同频率的流（如视觉与关节状态）需精密同步；机器人操作任务（如拾放）对环境变化与物体特性敏感，要求算法具备强泛化能力。构建过程中，挑战体现为多主题数据的统一存储与高效管理，HDF5格式需灵活应对可变长度数组与压缩图像的解码；左臂与夹爪目标数据的部分缺失、躯干目标流为空等问题凸显了数据稀疏性与不完整性，对模型训练和评估构成额外挑战。

常用场景

经典使用场景

该数据集作为机器人操作领域的高保真遥操作记录，尤为适用于模仿学习与行为克隆研究。其包含50段非同步的ROS 2录制的HDF5文件，同步捕获了头部RGB图像、机器人关节反馈、运动目标及里程计数据，为端到端策略学习提供了丰富的多模态观测与动作标签。研究人员可凭借其精准的时间戳信息，依据任务需求进行近邻匹配或重采样，构建状态-动作对，进而训练从视觉感知到关节级运动指令的映射模型。此外，其高频率的关节反馈流（约59Hz）与头部视觉流（约13Hz）特别适合研究视觉运动策略中的时序对齐与数据融合问题，是验证新一代操作算法鲁棒性的理想基准。

实际应用

在实际应用中，该数据集可作为工业级自主操作系统的预训练语料库，加速机器人对特定物体（如易拉罐）的抓取与放置技能习得，减少对繁琐的手动编程依赖。企业研发团队可借此微调或从零训练视觉运动策略，部署于物流分拣、生产线上下料、实验室自动化等场景中的双臂移动操作平台。其高保真的关节力矩与位姿反馈亦可用于开发高精度的遥操作主从控制策略，提升远程手术或危险环境处置的操控效率与安全性。此外，该数据格式兼容ROS 2生态，便于直接集成至机器人中间件与仿真环境的模拟到现实迁移流程中，为量产化机器人技能库的建设奠定数据基石。

衍生相关工作

围绕该数据集格式与内容，学术界已涌现多项经典工作拓展。其一，基于其非同步多模态流时序结构，衍生出面向异步传感器融合的神经网络架构（如跨模态注意力Transformer），有效提升了长程操作任务的策略精度。其二，借助其高保真关节反馈数据，研究者构建了联合运动学与动力学模型，用于预测操作过程中的接触力分布，进而导向更精细的力控策略研究。其三，该数据集的空流与缺失频道挑战激励了部分工作专注于部分可观测状态下的机器人学习，提出了基于不确定性感知的鲁棒策略算法。其四，其多视角视觉勘测（头部与腕部）催生了面向机器人操作的视觉上下文编码器预训练范式，显著强化了跨场景迁移能力，为通用操作智能体的发展提供了实证支撑。