eval_dice-rolling-v2

该数据集是使用LeRobot创建的机器人数据集。包含机器人动作、观测（包括状态和三个摄像头的图像）、时间戳和各种索引信息。数据集包含1个片段、851帧和1个任务，数据以parquet文件格式存储，视频以mp4格式存储。特征包括6维动作和状态向量，以及三个摄像头拍摄的480x640分辨率图像。

原始信息汇总

数据集概述

基本信息

• 数据集名称: eval_dice-rolling-v2
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 总任务数: 1
• 总情节数: 1
• 总帧数: 851
• 数据块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据分割: 训练集 (train) 包含全部数据 (0:1)
• 数据路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作空间

• 特征名: action
• 数据类型: float32
• 形状: [6]
• 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态

• 特征名: observation.state
• 数据类型: float32
• 形状: [6]
• 维度名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

图像观测 (相机1)

• 特征名: observation.images.camera1
• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480 像素
  • 宽度: 640 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30 FPS
  • 通道数: 3
  • 包含音频: false

图像观测 (相机2)

• 特征名: observation.images.camera2
• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480 像素
  • 宽度: 640 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30 FPS
  • 通道数: 3
  • 包含音频: false

图像观测 (相机3)

• 特征名: observation.images.camera3
• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称: height, width, channels
• 视频信息:
  • 高度: 480 像素
  • 宽度: 640 像素
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30 FPS
  • 通道数: 3
  • 包含音频: false

元数据特征

• timestamp: 数据类型 float32，形状 [1]
• frame_index: 数据类型 int64，形状 [1]
• episode_index: 数据类型 int64，形状 [1]
• index: 数据类型 int64，形状 [1]
• task_index: 数据类型 int64，形状 [1]

技术详情

• 代码库版本: v3.0
• 机器人类型: so101_follower

缺失信息

• 主页: 未提供
• 论文: 未提供
• 引用信息: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建往往依赖于真实世界的物理交互记录。eval_dice-rolling-v2数据集通过LeRobot平台，利用so101_follower型机器人执行掷骰子任务，系统采集了单次完整操作序列。数据以30帧每秒的速率录制，涵盖851帧视频流及对应的机器人状态信息，并以分块Parquet格式存储，确保了高效的数据组织与访问。

使用方法

研究人员可通过加载Parquet文件直接访问数据集，利用其预定义的特征字段进行模型训练与评估。数据集适用于机器人策略学习、视觉运动控制等任务，用户可结合动作序列与多视角图像，构建端到端的控制模型。数据以训练集形式提供，支持从原始视频流到结构化状态向量的灵活处理，便于集成至现代机器学习流程中。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究依赖于高质量、结构化的真实世界交互数据集。eval_dice-rolling-v2数据集由HuggingFace的LeRobot项目创建，专注于机器人操作任务的数据收集。该数据集旨在为机器人控制算法的评估与优化提供基准，通过记录多视角视觉观测与关节动作序列，支持端到端策略学习的研究。其设计体现了当前机器人学对可复现、大规模仿真与真实数据融合的迫切需求，为推进具身智能的发展提供了关键的数据基础设施。

当前挑战

该数据集致力于解决机器人操作任务中的策略泛化与评估难题，其核心挑战在于如何从有限的任务演示中学习鲁棒且可迁移的控制策略。构建过程中，数据采集面临多传感器同步、高维连续动作空间记录以及长时序数据存储的技术障碍。此外，确保数据集的多样性、平衡性以及与现实物理交互的一致性，亦是提升其研究价值的关键难点。

常用场景

经典使用场景

在机器人学习领域，eval_dice-rolling-v2数据集为模仿学习与强化学习算法提供了宝贵的实验平台。该数据集记录了机械臂执行掷骰子任务的全过程，包含多视角视频流、关节状态及动作指令，使得研究人员能够基于真实世界交互数据训练模型，以掌握复杂物体操控技能。其结构化特征支持端到端策略学习，尤其适用于评估模型在动态环境中的泛化能力与鲁棒性。

解决学术问题

该数据集有效应对了机器人学中样本效率低下与仿真到现实迁移的挑战。通过提供高质量的真实世界演示数据，它降低了策略学习对大量试错的依赖，促进了基于演示的强化学习与行为克隆方法的发展。其多模态观测数据有助于解决部分可观测环境下的状态估计问题，为具身智能研究提供了可复现的基准，推动了机器人自主操作技术的理论进展。

实际应用

在实际工业与服务业场景中，eval_dice-rolling-v2所对应的技术可应用于精密装配、物流分拣等需要灵巧操作的领域。数据集蕴含的抓取、投掷等动作模式，为开发自适应机器人系统提供了数据基础，使其能够应对非结构化环境中的物体操控任务。这类技术有望提升生产线的柔性化水平，并促进服务机器人在家庭或医疗辅助中的实用化进程。

数据集最近研究

最新研究方向

在机器人操作领域，eval_dice-rolling-v2数据集作为LeRobot项目的一部分，为机器人学习提供了丰富的多模态数据。该数据集整合了关节位置状态与多视角视觉信息，推动了基于模仿学习与强化学习的策略生成研究。前沿探索聚焦于跨模态表征学习，旨在从高维视觉输入中提取鲁棒特征，以提升机械臂在复杂动态环境中的泛化能力。随着具身智能的兴起，此类数据集成为验证视觉-动作映射模型的关键基准，促进了机器人自主执行灵巧操作任务的进展，对工业自动化与家庭服务机器人发展具有深远意义。