eval_so100_dice_red_v2_baseline

该数据集是一个机器人任务数据集，包含so100类型的机器人执行任务的视频和相关信息。数据集共有2个剧集，905帧，1个任务，6个视频和1个数据块，数据块大小为1000。数据集提供了多种类型的观察数据，包括笔记本电脑、手机和机械臂爪子的视频，以及机器人的动作和状态信息。所有视频的帧率为30fps，视频格式为av1编码的yuv420p，没有音频。

原始信息汇总

数据集概述

基本信息

• 名称: eval_so100_dice_red_v2_baseline
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, so100, dice, red, eval, act

数据集结构

• 数据文件格式: Parquet
• 配置名称: default
• 数据文件路径: data//.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 2
• 总帧数: 905
• 总任务数: 1
• 总视频数: 6
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 数据分割:
  • 训练集: 0:2

数据特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像:
  • laptop:
    • 数据类型: video
    • 形状: [480, 640, 3]
    • 视频信息: 高度480, 宽度640, 编码av1, 像素格式yuv420p, 非深度图, 无音频
  • phone:
    • 数据类型: video
    • 形状: [480, 640, 3]
    • 视频信息: 同laptop
  • gripper:
    • 数据类型: video
    • 形状: [480, 640, 3]
    • 视频信息: 同laptop
• 其他特征:
  • timestamp: float32, 形状[1]
  • frame_index: int64, 形状[1]
  • episode_index: int64, 形状[1]
  • index: int64, 形状[1]
  • task_index: int64, 形状[1]

数据路径

• 数据文件路径模板: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径模板: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

eval_so100_dice_red_v2_baseline数据集依托LeRobot框架构建，专为机器人技术领域设计。该数据集通过记录机械臂在特定任务中的动作和状态数据，采用高频率传感器采集多模态信息，包括关节角度、末端执行器状态以及多视角视频流。数据以分块形式存储，每个数据块包含完整任务序列，确保了时序连贯性。数据采集过程严格遵循标准化协议，保证了数据的可靠性和一致性。

使用方法

使用该数据集时，可通过解析parquet格式的数据文件获取结构化信息。数据按分块组织，路径模板明确指示了数据存储位置。视频数据与状态数据通过时间戳对齐，研究者可基于帧索引实现多模态数据的同步分析。数据集适用于机器人动作预测、模仿学习等研究任务，其丰富的观测维度为算法验证提供了全面基准。使用前需仔细阅读元数据文件以理解各字段含义，确保数据解读的准确性。

背景与挑战

背景概述

eval_so100_dice_red_v2_baseline数据集由HuggingFace的LeRobot项目团队构建，专注于机器人技术领域的研究与应用。该数据集基于Apache-2.0许可协议发布，旨在为机器人动作控制与状态观测提供多模态数据支持。数据集包含来自SO100型机器人的动作指令、状态观测数据以及多视角视频记录，其核心研究问题聚焦于机器人动作生成与环境交互的实时性及准确性。通过整合高帧率视频流与精确的动作-状态对应关系，该数据集为机器人学习算法的训练与评估提供了重要基准。

当前挑战

该数据集在解决机器人动作控制问题时面临多重挑战。在领域层面，如何确保多模态数据（如视频流与动作指令）的精确同步与对齐是关键难点，这对机器人动作生成的实时性与准确性提出了极高要求。在构建过程中，数据采集的规模与多样性受限，仅包含2个完整任务片段，可能影响模型的泛化能力。此外，视频数据的编解码格式（AV1）与分辨率（480×640）虽满足基础需求，但在处理复杂场景时可能面临细节丢失或计算资源不足的问题。数据标注的完整性亦存在提升空间，部分元数据（如引用文献）尚未完善。

常用场景

经典使用场景

在机器人控制领域，eval_so100_dice_red_v2_baseline数据集为研究人员提供了一个标准化的基准测试平台。该数据集通过记录SO100型机械臂的多模态传感器数据，包括关节角度、末端执行器状态以及多视角视频流，为机器人动作模仿与强化学习算法的验证提供了丰富素材。其结构化存储的时序动作-观测对特别适合用于研究连续控制策略的泛化能力。

解决学术问题

该数据集有效解决了机器人学中动作表征学习的评估难题。通过提供精确的六自由度机械臂运动轨迹与同步视觉观测，研究者能够定量分析不同模仿学习算法在真实世界场景中的表现。数据集包含的标准化动作空间定义和传感器校准数据，显著降低了跨研究比较的复现障碍，为机器人控制领域的基准测试建立了可量化的评价体系。

实际应用

在工业自动化场景中，该数据集支持了基于视觉的机器人抓取系统开发。通过分析数据集中的多视角抓取视频与对应关节运动数据，工程师能够优化视觉伺服控制算法。数据集包含的密集动作-状态对应关系，可直接用于训练工业机械臂的自主分拣系统，显著缩短了从仿真环境到真实部署的适配周期。

数据集最近研究

最新研究方向

在机器人控制与视觉感知领域，eval_so100_dice_red_v2_baseline数据集为研究多模态动作决策提供了重要支持。该数据集通过整合机械臂关节状态数据与多视角视觉信息，为强化学习在复杂任务中的应用开辟了新途径。近期研究聚焦于如何利用该数据集中的高维动作空间和视觉观测数据，探索端到端策略学习在真实场景中的泛化能力。随着机器人灵巧操作需求的增长，该数据集在模拟到真实迁移学习、多任务联合训练等前沿方向展现出独特价值。其结构化存储格式和丰富的元数据标注，为研究跨模态表征对齐、时序动作预测等热点问题提供了标准化基准。