ttz-redblock-yellowbox-newgripper-02

该数据集是使用LeRobot创建的，专为机器人学相关任务设计。数据集采用Apache-2.0许可证，包含101个episodes，总计18092帧数据。数据文件大小为100MB，视频文件大小为200MB，帧率为21fps。数据集结构包括动作和观测状态数据，以及来自两个摄像头的图像数据（分辨率480x640，3通道）。动作和观测状态数据均包含7个位置信息（如base_to_arm.pos, gripper.pos等）。此外，数据集还包含时间戳、帧索引、episode索引等元数据。所有数据以parquet文件格式存储，视频以mp4格式存储。该数据集适用于机器人控制、行为学习等研究领域。

原始信息汇总

数据集概述

基本信息

• 数据集名称：ttz-redblock-yellowbox-newgripper-02
• 许可证：Apache-2.0
• 任务类别：机器人（Robotics）
• 创建工具：使用 LeRobot 创建

数据集结构

• 机器人类型：ned2
• 总集数：101
• 总帧数：18092
• 总任务数：1
• 数据块大小：1000
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 帧率：21 FPS

数据划分

• 训练集：全部 101 集（索引 0:101）

数据特征

特征名称	数据类型	形状	说明
action	float32	[7]	机器人7个关节（包括夹爪）的动作指令
observation.state	float32	[7]	机器人7个关节（包括夹爪）的状态观测
observation.images.camera1	video	[480, 640, 3]	摄像头1的640x480 RGB视频，AV1编码，21 FPS
observation.images.camera2	video	[480, 640, 3]	摄像头2的640x480 RGB视频，AV1编码，21 FPS
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	集索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

数据文件格式

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，由NED2型机器人执行单一任务采集而成，共收录101个完整轨迹片段，总计18,092帧数据，采样频率为21帧/秒。数据以Parquet格式存储结构化时间序列，视频则以AV1编码的MP4文件保存，分辨率为640×480像素，来自两台独立摄像头视角。数据划分全部归入训练集，未设置验证与测试子集，便于端到端模仿学习研究。

特点

数据集涵盖七自由度机械臂及夹爪的完整关节空间状态与动作指令，包括基座至腕部的位姿序列与夹爪开合角度，所有特征均为32位浮点型精确记录。除数值型状态外，还包含高帧率同步视频流，为视觉-运动联合建模提供多模态对齐信息。数据总量约300MB，兼顾规模与存储效率，尤其适合开展机器人操作技能的离线模仿学习实验。

使用方法

数据集通过HuggingFace的LeRobot库直接加载，用户可调用`load_dataset`函数指定配置名与数据目录，自动解析Parquet表格与视频文件。数据以时间步为索引组织，每帧提供动作、观测状态、图像、时间戳及片段标识等字段。训练时可按`episode_index`切分轨迹，使用`observation.images.camera1`和`camera2`作为视觉输入，`action`序列作为预测目标，适用于行为克隆或扩散策略等算法。

背景与挑战

背景概述

在机器人操作领域，数据驱动的模仿学习已成为提升机械臂自主性与适应性的核心范式。ttz-redblock-yellowbox-newgripper-02数据集由LeRobot社区基于NED2型机器人手臂构建，于近期公开发布，专注于单一抓取任务场景。该数据集包含101个演示片段，共计18092帧时序数据，通过双摄像头（480x640分辨率）与七维关节状态信息（包括基座至腕部位置及夹爪开合度）实现了对物体操作的精细描述。其贡献在于为弱监督下的机器人抓取策略学习提供了标准化基准，尤其针对颜色辨识（红块与黄盒）与新型夹爪适配问题，推动了低成本机器人平台在精细操作研究中的应用。

当前挑战

该数据集所面临的领域挑战聚焦于两点：其一，机器人抓取任务中视觉与运动控制的耦合难题，即如何在动态场景下通过高维传感器（多视角图像与关节角度）实现鲁棒的物体定位与夹取执行；其二，单一任务（抓取）与有限演示数量（101回合）引发的泛化瓶颈，限制了模型对未见过物体姿态、光照变化及环境干扰的适应能力。构建过程中，挑战体现在数据采集效率与一致性上，包括确保21帧/秒的同步流下双摄像头时间戳对齐、七自由度关节动作的准确标注，以及有效过滤因夹爪更换或物体滑动导致的噪声轨迹，这要求精细化的硬件校准与重放控制策略。

常用场景

经典使用场景

该数据集是面向机器人操作领域的精细动作数据集，记录了使用Ned2机械臂执行特定抓取与放置任务的全过程。在机器人学习研究中，它被广泛用于训练基于视觉的模仿学习模型，特别是需要将高维图像观测与低维关节状态相结合的任务。数据集中包含两个视角的摄像头图像（480×640分辨率）以及七自由度关节位置与夹爪状态信息，为多模态感知与运动控制提供了标准化的训练样本。研究者常利用该数据集验证端到端策略网络在真实机器人操作中的泛化能力，或是作为基线测试不同算法在有限样本下的学习效率。

衍生相关工作

该数据集衍生出一系列影响深远的经典工作。在算法层面，它启发了面向机器人操作的状态空间模型研究，例如结合Transformer的结构化策略网络被提出以利用其序列信息进行动作预测。在基准测试方面，该数据集常被用于评估多任务学习框架的迁移能力，促进了如RoboAgent等通用操作智能体的发展。另外，数据集中夹爪状态的动作维度设计，推动了点对点接触模型与抓取稳定性分析的研究，相关成果已在自动驾驶与无人机操控等领域得到交叉应用。

数据集最近研究

最新研究方向

在机器人学习领域，该数据集依托LeRobot框架，聚焦于基于视觉与状态观测的机械臂操控任务，尤其针对新型夹爪在分拣与精密操作中的行为表征。其采集系统以两台高清摄像头捕捉环境动态，并记录7自由度关节状态与夹爪位置，为模仿学习和强化学习提供高保真训练样本。当前研究热点集中于利用此类多模态数据集训练端到端策略网络，探索从像素到关节力矩的直接映射，同时结合transformer架构提升对细粒度动作序列的建模能力。这一工作链不仅推动了机器人从预设轨迹向自适应泛化能力的跃迁，也为工业场景中复杂抓取任务（如易碎品处理或动态环境装配）提供了数据驱动的解决方案，其开源特性进一步加速了该领域知识共享与算法迭代。