calvin_task_D_D_scale_50_lerobo_format_addmask_v2

该数据集是使用LeRobot创建的，主要用于机器人技术领域。数据集包含2562个总集数，155082个总帧数，387个总任务数。数据集的特征包括观察图像（如image、wrist_image、instance_mask等）、状态（state）、动作（actions）等。数据集的许可证为apache-2.0。

This dataset was created using LeRobot, and is primarily intended for the field of robotics. It contains a total of 2562 episodes, 155082 frames, and 387 tasks. The dataset's features include observation data such as image, wrist_image, instance_mask, etc., as well as state and actions. The license for this dataset is apache-2.0.

原始信息汇总

数据集概述

基本信息

• 名称: ducido/calvin_task_D_D_scale_50_lerobo_format_addmask_v2
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, calvin, lerobo

数据集结构

• 总情节数: 2562
• 总帧数: 155082
• 总任务数: 387
• 总视频数: 0
• 总块数: 3
• 块大小: 1000
• 帧率: 10 fps
• 数据格式: Parquet
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 代码库版本: v2.1
• 机器人类型: panda

特征描述

• observation.images.image: 图像数据，形状为[3, 200, 200]
• observation.images.wrist_image: 腕部图像数据，形状为[3, 84, 84]
• observation.images.instance_mask: 实例掩码图像数据，形状为[3, 200, 200]
• observation.images.instance_mask_wrist: 腕部实例掩码图像数据，形状为[3, 84, 84]
• observation.state: 状态观测数据，形状为[15]，数据类型为float32
• actions: 动作数据，形状为[7]，数据类型为float32
• rel_actions: 相对动作数据，形状为[7]，数据类型为float32
• observation.images.depth_gripper: 夹爪深度图像数据，形状为[3, 84, 84]
• observation.images.depth_static: 静态深度图像数据，形状为[3, 200, 200]
• scene_obs: 场景观测数据，形状为[24]，数据类型为float32
• timestamp: 时间戳数据，形状为[1]，数据类型为float32
• frame_index: 帧索引数据，形状为[1]，数据类型为int64
• episode_index: 情节索引数据，形状为[1]，数据类型为int64
• index: 索引数据，形状为[1]，数据类型为int64
• task_index: 任务索引数据，形状为[1]，数据类型为int64

数据划分

• 训练集: 0-2562（全部数据）

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是推动算法进步的关键基石。calvin_task_D_D_scale_50_lerobo_format_addmask_v2 数据集基于 LeRobot 框架构建，源自 CALVIN 模拟环境，旨在为机械臂操作任务提供精细化的训练样本。该数据集共包含 2562 个完整回合（episode），总计 155082 帧数据，覆盖 387 种不同任务，数据以 10 FPS 的帧率采集。数据以 Parquet 格式存储于分块文件中，每块容纳 1000 个回合，并通过 JSON 元数据结构详尽记录了机器人类型（Panda）、特征定义及数据路径。构建过程中，特别引入了实例掩码（instance_mask）图像通道，增强了视觉感知的语义信息，同时保留了原始状态、动作（包括绝对动作和相对动作 rel_actions）、场景观测及时间戳等关键模态，形成了多模态、高密度的训练资源。

特点

该数据集的显著特点在于其多维度的视觉与状态融合设计。观测空间包含四种图像模态：主相机与腕部相机的原始 RGB 图像（分辨率分别为 200×200 和 84×84），以及对应的实例掩码图像，后者为物体分割和目标跟踪提供了显式监督。此外，还集成了深度图像（depth_gripper 和 depth_static），进一步丰富了空间几何信息。状态空间涵盖 15 维机器人观测（robo_obs）和 24 维场景观测（scene_obs），与 7 维动作空间相配合，支持精细的运动规划。数据集的多样性体现在 387 个任务标签上，任务索引（task_index）使得按需筛选成为可能。整体结构紧凑，无视频文件，专注于高效的低维与图像特征联合学习，适用于模仿学习和强化学习场景。

使用方法

使用该数据集时，推荐通过 LeRobot 库进行加载与预处理。用户可直接利用 Hugging Face 数据集 API 读取 Parquet 文件，按需提取指定回合或任务的数据。训练前，需将图像数据（RGB、掩码、深度）转换为张量格式，并进行归一化；状态和动作数据作为浮点型向量直接输入模型。由于数据已按 chunk 分块，建议采用流式加载以节省内存。典型用法是构建数据加载器（DataLoader），循环遍历 episode_index 和 frame_index，将 observation.images 和 observation.state 作为模型输入，actions 或 rel_actions 作为预测目标。任务索引可用于多任务学习中的条件分支。注意，数据集无预定义验证集，需自行划分训练与测试比例。

背景与挑战

背景概述

在机器人学习与操作领域，数据驱动的模仿学习已成为实现复杂技能泛化的核心范式。该数据集由Hugging Face LeRobot团队基于CALVIN仿真环境构建，创建于2024年前后，旨在解决桌面级机械臂多任务操作中的视觉-动作映射问题。其核心研究问题聚焦于如何通过大规模、多模态的示范数据，使Panda机械臂掌握包括抓取、推拉、堆叠等387种精细操作技能。数据集包含2562条轨迹、15.5万帧高保真观测，融合了深度图像、实例掩码及腕部视觉等多模态信息，为机器人领域提供了首个兼具任务多样性与感知丰富度的标准化基准，有力推动了端到端策略学习与跨任务泛化研究的发展。

当前挑战

当前数据集面临的核心挑战在于多任务策略的泛化与数据高效性之间的矛盾。具体而言，387种任务虽覆盖了桌面操作的常见类别，但不同任务间动作分布的稀疏性与长尾特性，使得模型难以从有限示范中习得鲁棒策略。构建过程中，仿真环境与真实场景的视觉域差异（如光照、纹理）导致了掩码标注与深度估计的噪声累积，而腕部与静态相机的多视角图像同步误差，进一步加剧了状态-动作对齐的困难。此外，高维状态空间（15维机器人状态与24维场景观测）与7维动作空间的耦合，使得策略学习极易陷入局部最优，亟需更先进的表征解耦与跨任务迁移方法以突破当前性能瓶颈。

常用场景

经典使用场景

在机器人学习与操作领域，calvin_task_D_D_scale_50_lerobo_format_addmask_v2数据集为模仿学习与视觉运动策略的端到端训练提供了标准化基准。该数据集包含2562个由Franka Emika Panda机械臂采集的完整操作片段，覆盖387种精细任务，并同步记录了高分辨率静态相机与腕部相机图像、实例分割掩码、深度图及15维机器人状态信息。研究者可基于此数据训练视觉-运动映射模型，利用200×200像素的全局视角与84×84像素的腕部视角图像，结合实例掩码实现目标物体的精准定位与操作，从而推动从像素到关节指令的闭环控制策略研究。

解决学术问题

该数据集系统性地解决了机器人操作中多模态感知融合与长程任务泛化的关键学术难题。通过提供包含实例分割掩码的视觉观测、7维动作序列及相对动作表示，它使研究者能够探索视觉特征与运动轨迹间的隐式关联，并验证基于注意力机制的策略网络在复杂桌面操作场景中的鲁棒性。数据集统一的结构化格式（含帧索引、任务标签及时间戳）消除了数据预处理瓶颈，为对比不同架构（如扩散策略、基于Transformer的端到端模型）在387种任务上的零样本迁移能力提供了公平的基准平台。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，特别是在扩散策略与基于能量的模型在机器人操作领域的应用。研究者利用其多视角图像与实例掩码特性，开发出结合语义分割的视觉运动策略，显著提升了在CALVIN基准上的任务完成率。此外，数据集的标准化格式催生了LeRobot生态下的模型预训练范式，通过大规模离线训练实现跨任务知识迁移，相关工作在机器人行为克隆的泛化性评估中成为重要参照。