eval_make_sandwhich

该数据集是一个机器人操作数据集，包含20个剧集，共26719帧，涉及3个任务。数据集以Parquet文件格式存储，并包括相应的视频文件。数据集特征包括机器人的动作位置、观察状态、手腕和前部摄像头图像等信息。所有数据均按照Apache-2.0许可发布。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集结构

• 代码库版本: v3.0
• 机器人类型: so101_follower
• 总任务数: 3
• 总片段数: 20
• 总帧数: 26719
• 帧率: 30 fps
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 块大小: 1000
• 数据分割: 训练集 (0:20)

数据特征

动作特征

• 数据类型: float32
• 维度: 6
• 特征名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 数据类型: float32
• 维度: 6
• 特征名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

图像观测

手腕摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图
• 无音频

前置摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: av1
• 像素格式: yuv420p
• 非深度图
• 无音频

索引特征

• 时间戳: float32 (1维)
• 帧索引: int64 (1维)
• 片段索引: int64 (1维)
• 索引: int64 (1维)
• 任务索引: int64 (1维)

文件路径格式

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，eval_make_sandwhich数据集通过LeRobot平台系统采集了20个完整操作序列，涵盖3类具体任务场景。数据以30帧/秒的采样频率记录机械臂关节位置与视觉信息，采用分块存储架构将26719帧数据划分为1000帧为单位的parquet文件，同时配备双视角480p视频流以确保动作轨迹与视觉观测的时空对齐。

特点

该数据集的核心价值体现在多模态数据融合与精细标注体系上，其动作空间完整记录六自由度机械臂的关节角度与夹爪状态，观测空间则同步提供腕部与正面双视角RGB视频流。每个数据帧均附带时间戳、任务索引与回合标识，形成层次化数据结构，这种设计既支持端到端模仿学习，又能为强化学习算法提供细粒度动作分解与状态转移分析。

使用方法

研究者可通过标准数据加载接口直接读取parquet格式的观测-动作对，利用预定义的特征字段重构机械臂运动轨迹与视觉上下文。训练集包含全部20个操作回合，用户既可提取关节空间连续动作进行行为克隆，也能结合双路视频输入构建视觉运动策略网络。数据分块机制支持流式加载大规模演示数据，为机器人操作策略的泛化性验证提供标准化基准。

背景与挑战

背景概述

在机器人操作任务研究领域，eval_make_sandwhich数据集作为LeRobot项目的重要组成部分，聚焦于多模态感知与动作执行的协同机制。该数据集通过配备双视角视觉系统的so101_follower机器人平台，系统采集了包含26719帧操作序列的20个完整任务片段，其核心在于探索复杂环境下机器人对非结构化任务的动态适应能力。数据集采用Apache 2.0开源协议，通过标准化参数空间与视觉流同步记录，为具身智能研究提供了可复现的实验基准。

当前挑战

该数据集需应对机器人操作任务中动作轨迹精确建模与多模态感知对齐的双重挑战。在领域问题层面，需解决高维连续动作空间中的动态规划难题，以及视觉-动作跨模态表征的语义对齐问题。构建过程中面临传感器时序同步精度控制、长周期任务数据完整性维护等工程挑战，同时需确保六自由度机械臂动作数据与双路高清视频流在复杂环境下的时空一致性。

常用场景

经典使用场景

在机器人操作学习领域，eval_make_sandwhich数据集通过记录机械臂执行三明治制作任务的全过程，为模仿学习算法提供了标准化的评估基准。该数据集包含多视角视觉观测与关节位置数据，能够有效支持端到端策略网络的训练与验证，尤其在复杂物体抓取和序列动作规划等关键任务中展现出重要价值。

解决学术问题

该数据集主要解决了机器人模仿学习中动作表示与状态转移建模的难题。通过提供精确的关节空间轨迹与同步视觉反馈，研究者能够深入分析动态环境下的动作语义理解问题，为构建鲁棒的行为克隆模型奠定数据基础，显著推动了具身智能在连续控制任务中的理论发展。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，包括基于时空注意力的动作预测网络、多模态表征融合框架等。这些工作通过挖掘数据集中关节运动与视觉特征的关联性，发展了分层强化学习、跨模态对齐等新方法，持续推动着机器人操作技能的智能化进程。