dice4

这是一个包含机器人动作和状态数据的机器学习数据集，具体类型为so100机器人。数据集共有10个剧集，6198个帧，1个任务，20个视频和1个数据块，每个数据块的大小为1000。数据集的视频帧率为30fps，并且提供了训练数据集的划分。数据集还包括了动作、状态、视频画面、时间戳、帧索引、剧集索引、索引和任务索引等特征信息。

原始信息汇总

数据集概述

基本信息

• 名称: Bartm3/dice4
• 许可证: Apache-2.0
• 任务类别: 机器人学（robotics）
• 标签: LeRobot, so100, tutorial

数据集描述

• 创建工具: 使用LeRobot创建
• 主页: 未提供
• 论文: 未提供

数据集结构

• 数据文件格式: Parquet
• 配置名称: default
• 数据文件路径: data//.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 10
• 总帧数: 6198
• 总任务数: 1
• 总视频数: 20
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集（0:10）

数据路径

• 数据路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作（action）:
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态（observation.state）:
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像（observation.images.laptop 和 observation.images.phone）:
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • fps: 30.0
    • 高度: 480
    • 宽度: 640
    • 通道: 3
    • 编解码器: av1
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 是否有音频: false
• 时间戳（timestamp）:
  • 数据类型: float32
  • 形状: [1]
• 帧索引（frame_index）:
  • 数据类型: int64
  • 形状: [1]
• 集索引（episode_index）:
  • 数据类型: int64
  • 形状: [1]
• 索引（index）:
  • 数据类型: int64
  • 形状: [1]
• 任务索引（task_index）:
  • 数据类型: int64
  • 形状: [1]

引用

• BibTeX: 未提供

搜集汇总

数据集介绍

构建方式

dice4数据集依托LeRobot开源框架构建，采用模块化数据采集策略，通过so100型机器人执行标准化任务流程。数据以30fps帧率同步记录机械臂6自由度关节动作、双视角视觉观测及时间戳信息，原始数据经AV1编码压缩后存储为Parquet格式，每1000帧划分为一个数据块，共包含10个完整操作片段，形成6198帧的多模态时序数据。

特点

该数据集以机器人操作任务为核心，突出多传感器融合特性。动作空间涵盖肩部平移/旋转、肘部屈伸、腕部弯曲/扭转及夹持器开合6维连续控制量；观测空间包含笔记本电脑与手机双视角的640×480像素RGB视频流，各通道均附带精确到毫秒级的时间同步标记。数据采用分块存储设计，支持快速随机访问，且所有数值字段均以float32标准化处理，确保模型训练稳定性。

使用方法

使用者可通过解析meta/info.json获取数据组织结构，按照指定路径模板加载Parquet文件。训练集包含全部10个操作片段，视频数据需配合FFmpeg解码。典型应用场景包括：基于时空特征的模仿学习、多视角视觉伺服控制算法验证、连续动作空间策略优化等。建议结合PyTorch或TensorFlow框架构建数据管道，利用帧索引实现跨模态数据对齐，注意处理不同采样率传感器的时序插值问题。

背景与挑战

背景概述

dice4数据集由LeRobot团队开发，专注于机器人领域的研究与应用。该数据集基于so100机器人平台构建，涵盖了机器人在执行任务过程中的多模态数据，包括关节动作、状态观测以及来自笔记本电脑和手机的视频数据。数据集的设计旨在为机器人控制、行为模仿和任务学习等研究提供丰富的实验素材。尽管数据集的具体创建时间和主要研究人员信息尚未公开，但其结构化的数据组织和详细的元信息标注，为机器人学习算法的开发和验证提供了重要支持。数据集采用Apache 2.0许可协议，进一步促进了其在学术和工业界的广泛应用。

当前挑战

dice4数据集在解决机器人任务学习问题时面临多重挑战。从领域问题来看，机器人动作的精确建模与多模态数据（如视频与状态数据）的同步对齐是核心难点，这直接影响了算法的训练效果与实际应用的泛化能力。在数据构建过程中，如何确保不同传感器（如摄像头与关节编码器）数据的时间一致性，以及如何处理高维视频数据与低维状态数据的融合，均为技术上的关键挑战。此外，数据集的规模相对有限，仅包含10个任务片段和6198帧数据，可能限制了复杂模型的训练需求。数据多样性的不足也可能导致算法在未见任务上的表现不佳。

常用场景

经典使用场景

在机器人控制与行为学习领域，dice4数据集以其多模态数据结构和精确的机械臂动作记录，成为研究机器人任务执行能力的理想选择。该数据集通过记录so100型机械臂的关节角度、夹爪状态及多视角视频数据，为模仿学习与强化学习算法提供了丰富的训练素材。其30fps的高频采样和6自由度动作空间，特别适合用于研究复杂操作任务中时序动作的连贯性与精确性。

解决学术问题

该数据集有效解决了机器人领域动作泛化性研究的核心难题。通过提供标准化的大规模操作数据，研究者能够突破传统小样本实验的局限，深入探索跨任务迁移学习、多模态感知融合等关键问题。其包含的6198帧同步传感器数据，为建立动作-状态关联模型提供了坚实基础，显著提升了机械臂控制策略的鲁棒性研究效率。

衍生相关工作

该数据集已催生多项机器人学习领域的重要研究，包括基于Transformer的多模态策略网络架构、时空注意力机制的动作预测模型等创新工作。LeRobot团队在其基础上开发的基准测试系统，已成为评估机械臂操作能力的标准工具。相关衍生研究在2023年ICRA等顶级会议上获得广泛关注，推动了机器人学习从仿真到实物的跨越。