hanoi-red2right

这是一个机器人技术领域的_dataset_，包含50个剧集，共计5550帧，1个任务，150个视频和1个片段。每个片段包含1000帧数据，帧率为30fps。数据集仅包含训练集划分。数据以Parquet格式存储，并且包含与机器人动作相关的多种特征，如肩部、肘部、手腕的位置和抓取器的位置。此外，还包括三个不同视角（抓取器、顶部和前方）的视频数据，视频分辨率为720x1280，使用av1编码，没有音频。

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据采集领域，hanoi-red2right数据集依托LeRobot框架系统构建，通过SO101型跟随机器人执行单一任务场景下的连续操作。数据采集过程涵盖50个完整操作片段，以30fps帧率同步记录多视角视觉信息与六自由度关节状态，原始数据经标准化处理后存储为Parquet格式，确保时序对齐与存储效率。

特点

该数据集显著特征体现在多模态数据的深度融合，包含顶部、前端和夹爪视角的三路720p高清视频流，与六维关节位置控制信号构成时空对齐的观测-动作对。每个数据帧附带精确的时间戳与索引标识，支持长序列决策模型的端到端训练。视频采用AV1编解码技术压缩，在保持视觉保真度的同时显著降低存储开销。

使用方法

研究者可通过LeRobot生态系统直接加载数据集，利用标准化的数据加载器解析Parquet文件结构。多路视频流与机械臂状态数据支持联合建模，适用于模仿学习、强化学习等算法训练。数据集已预划分为训练集，包含全部50个操作序列，可直接用于行为克隆或动态模型构建等下游任务。

背景与挑战

背景概述

机器人操作数据集hanoi-red2right由HuggingFace的LeRobot项目创建，专注于机械臂操作任务的数据采集与建模。该数据集采用SO101型跟随机器人作为硬件平台，通过多视角视觉传感器和关节状态记录系统，构建了包含50个完整操作序列的高精度时空数据。数据集采用Apache 2.0开源协议，其六维动作空间和720p多视角视频流为模仿学习与强化学习算法提供了真实世界的物理交互基准。

当前挑战

该数据集致力于解决机械臂精细操作中的视觉-动作映射难题，其核心挑战在于高维连续动作空间与多模态感知数据的对齐问题。构建过程中面临多传感器时序同步、大规模视频数据压缩存储、以及真实环境下的动作标注精度等工程挑战。数据采集需克服机械臂运动学约束带来的采样偏差，确保操作轨迹在关节空间和任务空间的双重有效性。

常用场景

经典使用场景

在机器人操作学习领域，hanoi-red2right数据集通过多视角视觉观测与六维关节动作的同步记录，为模仿学习算法提供了标准化的训练范式。该数据集典型应用于机械臂物体抓取与转移任务的策略学习，研究者可利用其包含的顶部、前部和夹爪视角的高清视频流，结合精确的关节位置数据，构建端到端的视觉运动映射模型。

衍生相关工作

基于该数据集的特性，衍生出了多项视觉动作联合建模的创新研究。例如基于时空注意力机制的行为克隆框架，通过融合多视角视觉特征提升动作预测精度；以及结合逆动力学模型的自监督学习方法，利用状态-动作对构建更精确的环境动力学模型。这些工作显著推动了机器人操作技能迁移研究的发展进程。

数据集最近研究

最新研究方向

在机器人操作学习领域，hanoi-red2right数据集正推动多模态感知与强化学习的深度融合研究。该数据集通过集成机械臂关节状态数据与多视角视觉信息，为模仿学习与离线强化学习算法提供了丰富的训练素材。当前研究热点聚焦于跨模态表征学习，旨在解决高维视觉输入与低维动作空间的对齐难题。随着具身智能概念的兴起，该数据集在机器人任务泛化与零样本迁移学习方面展现出重要价值，为构建能够适应真实场景的通用机器人系统提供了关键数据支撑。