so101-dice-box

该数据集使用LeRobot创建，专注于机器人技术领域。它包含了机器人臂动作和摄像头观测的相关信息。数据集共有10个剧集，4987帧，20个视频，分为1个任务和1个片段。每个片段包含1000个数据点，帧率为30fps。数据集的格式为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 总任务数: 1
• 总视频数: 20
• 总片段数: 10
• 总帧数: 4987
• 片段大小: 1000
• 帧率: 30 FPS
• 数据格式: Parquet
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 分割: 训练集（0:10）

特征描述

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 字段:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 字段:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测（上方视角）

• 名称: observation.images.above
• 数据类型: video
• 形状: [480, 640, 3]
• 视频属性:
  • 高度: 480
  • 宽度: 640
  • 通道数: 3
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30
  • 无音频

图像观测（夹爪视角）

• 名称: observation.images.gripper
• 数据类型: video
• 形状: [480, 640, 3]
• 视频属性:
  • 高度: 480
  • 宽度: 640
  • 通道数: 3
  • 编解码器: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30
  • 无音频

元数据特征

• timestamp: float32, 形状[1]
• frame_index: int64, 形状[1]
• episode_index: int64, 形状[1]
• index: int64, 形状[1]
• task_index: int64, 形状[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so101_follower

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so101-dice-box数据集通过LeRobot框架系统性地采集了真实环境下的机械臂操作数据。该数据集包含10个完整操作序列，总计4987帧图像与动作记录，采用高精度传感器捕捉六自由度机械臂的关节位置信息，并以30fps的帧率同步记录顶部视角与夹爪视角的双目视频流，数据以分块Parquet格式高效存储，确保了时序一致性与多模态对齐。

使用方法

研究者可通过LeRobot框架直接加载该数据集进行机器人策略学习，每个数据块包含连续的动作-观测对序列，支持端到端的行为克隆与逆强化学习任务。使用时需注意数据集的时空连续性特征，建议以完整episode为单位进行训练，利用frame_index字段实现精确的时序对齐，双视角图像数据可分别用于环境感知与操作闭环验证，关节位置数据则适用于动力学模型辨识与控制策略优化。

背景与挑战

背景概述

机器人操作数据集so101-dice-box由LeRobot研究团队构建，专注于机械臂操作任务的深度学习研究。该数据集采用SO101型跟随机器人采集，包含多模态观测数据与精确动作指令，涵盖关节位置、视觉感知与时间序列信息。其设计旨在推动机器人模仿学习与强化学习算法的发展，通过真实环境下的操作任务记录，为机器人自主决策提供高质量训练样本。

当前挑战

该数据集核心挑战在于解决高维连续动作空间下的机械臂精确控制问题，需协调多关节运动与视觉反馈的时序对齐。构建过程中面临多传感器数据同步与标定难题，包括视觉流与机械状态的精确匹配，以及大规模视频数据的高效压缩存储。此外，真实环境下的操作任务存在动态不确定性，要求数据采集系统具备高度的鲁棒性与一致性。

常用场景

经典使用场景

在机器人操作学习领域，so101-dice-box数据集通过记录机械臂执行骰子盒操作任务的完整轨迹，为模仿学习算法提供了高质量的多模态训练数据。该数据集包含关节位置状态、夹爪视觉观测和自上而下的环境视角视频，完美呈现了机器人执行精细操作任务的动态过程，成为评估行为克隆和逆强化学习算法的基准测试平台。

解决学术问题

该数据集有效解决了机器人技能传递中的示范数据稀缺性问题，为研究高维视觉输入与连续动作空间的映射关系提供了实证基础。通过提供精确的时间同步多模态数据，它支持学者深入探究状态表示学习、跨模态对齐以及长期动作序列预测等核心学术问题，显著推动了机器人学习算法的可复现性研究。

实际应用

基于该数据集训练的模型可直接应用于工业分拣、实验室自动化等需要精细操作能力的场景。机械臂能够通过学习示范数据掌握物体抓取、放置及精密操控的技能，特别适用于电子元件装配、药品分装等对操作精度要求较高的生产流程，为智能制造系统提供了可靠的行为范式。

数据集最近研究

最新研究方向

在机器人操作学习领域，so101-dice-box数据集正推动多模态感知与控制策略的融合研究。该数据集通过集成关节状态数据与双视角视觉信息，为模仿学习与强化学习算法提供了丰富的训练素材。当前研究热点集中于利用此类多模态数据提升机械臂在复杂环境中的自主操作能力，特别是在精细物体操控与动态场景适应方面。随着具身智能研究的深入，该数据集在跨任务泛化与少样本学习方向展现出重要价值，为机器人行为克隆与策略迁移提供了标准化评估基准。