dice2

这是一个关于机器人学任务的数据集，包含10个剧集，共计3660帧，1个任务，20个视频和1个片段。数据集以Apache-2.0许可证发布，支持的特征包括动作、状态、笔记本电脑和手机摄像头视角的图像、时间戳、帧索引、剧集索引、索引和任务索引。所有数据以.parquet文件格式存储。

搜集汇总

数据集介绍

构建方式

在机器人技术领域，dice2数据集通过LeRobot平台精心构建，采用先进的实验采集方法。数据集包含10个完整任务片段，共计3660帧数据，以30fps的帧率记录机器人动作状态。数据以分块形式存储于Parquet文件中，每块包含1000帧，同时配套20段MP4格式视频，完整呈现机器人执行任务时的多角度视觉信息。数据采集过程严格记录机械臂6自由度关节角度及末端执行器状态，确保运动学数据的精确性。

特点

该数据集显著特点在于其多维度的同步数据采集，不仅包含机械臂的六维关节空间动作指令，还同步记录双视角视觉信息。480×640分辨率的彩色视频流通过AV1编解码器高效压缩，每个数据帧均附带精确的时间戳和索引标记。数据字段命名规范，采用分层结构清晰区分观测状态、动作指令和元数据，便于研究者快速定位所需信息。特别设计的Parquet存储格式兼顾数据读取效率与存储空间优化。

使用方法

使用该数据集时，可通过解析meta/info.json文件获取完整数据结构描述。数据按片段组织，训练集包含全部10个任务片段。研究者可基于帧索引或时间戳提取特定时刻的机器人状态，结合双视角视频分析动作执行过程。动作数据可直接用于强化学习算法训练，而状态观测数据则适用于模仿学习研究。视频文件与传感器数据的严格同步，为多模态学习算法验证提供理想实验平台。

背景与挑战

背景概述

dice2数据集由LeRobot项目团队构建，专注于机器人操作任务的研究。该数据集基于so100机器人平台，记录了10个完整操作任务的多模态数据，包含3660帧同步采集的机械臂关节状态、视觉观测及时间戳信息。作为机器人学习领域的新型基准数据集，其核心价值在于提供了真实场景下机械臂操作任务的标准化评估框架，通过高精度动作轨迹与多视角视频的同步记录，为模仿学习与强化学习算法提供了丰富的训练素材。数据集采用Apache-2.0开源协议，体现了研究社区对开放科学精神的践行。

当前挑战

该数据集面临双重技术挑战：在应用层面，需解决多模态传感器数据的时间对齐难题，尤其是机械臂关节角度与双路视觉信号（笔记本摄像头与手机摄像头）的毫秒级同步问题；在构建层面，原始视频数据的实时压缩存储涉及计算效率与质量平衡，AV1编解码器的采用虽提升压缩率，但增加了数据预处理复杂度。此外，6自由度机械臂动作空间的连续控制特性，要求数据采集系统具备高采样频率（30Hz）下的稳定性和精确性，这对硬件同步机制提出了严苛要求。

常用场景

经典使用场景

在机器人控制与学习领域，dice2数据集为研究者提供了丰富的机械臂动作与状态观测数据。该数据集记录了SO100型机械臂在执行任务过程中的关节角度、末端执行器状态以及多视角视频数据，特别适用于模仿学习与强化学习算法的训练与验证。通过精确的时间戳与帧索引对齐，研究者能够深入分析机械臂动作与视觉观测间的时空关联。

解决学术问题

该数据集有效解决了机器人控制领域中的动作-感知耦合建模难题。其提供的6自由度机械臂动作数据与同步多模态观测，支持研究者探索高维连续动作空间下的策略优化问题。通过标准化数据格式与精确的时间对齐，显著降低了多模态机器人数据处理的复杂度，为端到端控制算法的开发提供了可靠基准。

衍生相关工作

基于dice2数据集的特性，已衍生出多项机器人学习领域的重要研究。包括基于Transformer的多模态策略网络架构、时空一致性表征学习方法，以及跨模态对比学习框架。这些工作显著推进了机器人从演示数据中提取可迁移技能的能力。