grab_salad

这是一个用于机器人学任务的数据集，包含50个episodes，共31338个frames，分布在100个videos中。每个video被分为一个chunk，每个chunk包含1000个frames。数据集提供了多种features，包括动作位置、状态、顶部和手腕的图像等。数据集采用Apache-2.0许可证。

原始信息汇总

数据集概述

基本信息

• 名称：kinghanse/grab_salad
• 许可证：Apache-2.0
• 任务类别：机器人技术
• 标签：LeRobot

数据集结构

• 总集数：50
• 总帧数：31338
• 总任务数：1
• 总视频数：100
• 总块数：1
• 块大小：1000
• 帧率：30 fps
• 分割：训练集（0:50）
• 数据格式：Parquet
• 代码库版本：v2.1
• 机器人类型：so101_follower

特征描述

• 动作（action）：浮点32，形状[6]，包含肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置
• 观测状态（observation.state）：浮点32，形状[6]，与动作相同维度
• 顶部图像观测（observation.images.top）：视频格式，分辨率480x640x3，编码AV1，无音频
• 腕部图像观测（observation.images.wrist）：视频格式，分辨率480x640x3，编码AV1，无音频
• 时间戳（timestamp）：浮点32，形状[1]
• 帧索引（frame_index）：整型64，形状[1]
• 集索引（episode_index）：整型64，形状[1]
• 索引（index）：整型64，形状[1]
• 任务索引（task_index）：整型64，形状[1]

文件路径

• 数据路径：data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径：videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据采集领域，grab_salad数据集通过LeRobot框架系统化构建。该数据集采用SO101型机械臂执行单一任务，采集了50个完整操作片段，共计31338帧时序数据。数据以分块形式存储于Parquet格式文件中，每个数据块包含1000帧记录，以30fps的采样频率同步记录机械臂关节状态与多视角视觉信息，确保了数据的时间一致性与完整性。

特点

该数据集的核心特征体现在多模态数据的深度融合，不仅包含6自由度机械臂的关节位置与夹爪状态动作信息，还同步采集顶部与腕部双视角RGB视频流。所有视觉数据均以480×640分辨率保存，采用AV1编解码技术优化存储效率。数据字段涵盖时间戳、帧索引与任务索引等元数据，为模仿学习与行为克隆研究提供结构化支持。

使用方法

研究者可通过加载Parquet数据文件直接访问多模态时序数据流，其中动作空间包含6维连续控制指令，观测空间则整合关节状态与双视角视觉观测。数据集已预设训练集划分方案，支持端到端策略学习、视觉运动控制等研究任务。使用前需配置相应视频解码环境，建议结合LeRobot代码库实现数据管道与模型训练的无缝衔接。

背景与挑战

背景概述

机器人操作数据集grab_salad由LeRobot团队基于Apache 2.0许可证构建，专注于多模态机器人学习领域。该数据集采用so101_follower型机器人平台，采集了50个完整操作序列共31338帧数据，包含顶部与腕部双视角视觉信息及六自由度关节控制指令。其设计初衷在于为模仿学习与强化学习算法提供高质量的真实世界操作数据，推动机器人复杂任务泛化能力的研究进程。

当前挑战

该数据集致力于解决机器人精细操作任务中的动作规划与视觉感知协同挑战，特别是针对非结构化环境下的物体抓取任务。构建过程中面临多传感器时序同步、高维度连续动作空间标注、以及大规模视频数据压缩存储等技术难点，需确保6自由度机械臂动作轨迹与双视角视觉观测的精确对齐。

常用场景

经典使用场景

在机器人操作学习领域，grab_salad数据集通过记录六自由度机械臂的关节位置状态与双视角视觉观测，为模仿学习算法提供了标准化的训练与验证环境。研究者可基于该数据集构建端到端的策略网络，使机械臂能够学习从视觉输入到关节动作的映射关系，特别适用于精细物体抓取任务的算法开发。

实际应用

在工业自动化与家庭服务机器人场景中，该数据集支撑的算法可应用于物品分拣、餐具整理等精细操作任务。基于双视角视觉的观测体系能够模拟真实环境中的视觉遮挡挑战，为机器人适应复杂操作场景提供技术验证基础，显著提升机械臂在非结构化环境中的操作可靠性。

衍生相关工作

该数据集催生了多项基于多模态感知的模仿学习研究，包括结合逆强化学习的操作策略优化、基于时空注意力的动作预测模型等。相关工作进一步拓展到跨任务泛化研究领域，为构建通用机器人操作框架提供了数据支撑与基准测试平台。