lerobot/aloha_sim_insertion_scripted_image

该数据集包含多个特征，包括顶部图像、状态序列、动作序列、episode索引、帧索引、时间戳、完成标志和索引。数据集分为训练集，包含20,000个样本，总大小为546,639,460字节。下载大小为539,950,010字节。

The dataset contains multiple features including top images, state sequences, action sequences, episode index, frame index, timestamp, done flag, and index. The dataset is divided into a training set with 20,000 samples, totaling 546,639,460 bytes. The download size is 539,950,010 bytes.

原始信息汇总

数据集概述

数据集特征

• observation.images.top: 图像类型
• observation.state: 序列类型，数据类型为float32，长度为14
• action: 序列类型，数据类型为float32，长度为14
• episode_index: 整数类型，数据类型为int64
• frame_index: 整数类型，数据类型为int64
• timestamp: 浮点数类型，数据类型为float32
• next.done: 布尔类型
• index: 整数类型，数据类型为int64

数据集划分

• train:
  • 数据量: 546639460.0 字节
  • 示例数量: 20000

数据集大小

• 下载大小: 539950010字节
• 数据集大小: 546639460.0字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

搜集汇总

数据集介绍

构建方式

在机器人学习领域，模仿学习依赖于高质量的数据集以复现精细操作技能。lerobot/aloha_sim_insertion_scripted_image数据集源自ALOHA系统，旨在捕捉双臂协同插入任务的演示轨迹。该数据集通过脚本化控制生成，包含50个完整回合（episodes），总计20000帧数据，采样频率为50帧/秒。数据以Parquet格式存储于分块文件中，每个分块容量为1000帧，结构清晰且高效。每个回合记录了14维机器人关节状态（包括左右臂各7个电机）及对应的行动指令，同时提供480×640像素的顶部摄像头图像作为视觉观测，形成了状态-动作-观测三元组，为模仿学习提供了完整的训练素材。

特点

该数据集的显著特点在于其针对精细双臂操作任务的专业化设计。所有数据均专注于单一插入任务，确保了领域内的高一致性。每个回合包含连续的帧序列，并标注了回合索引、帧索引及时间戳，便于时序建模。图像与状态数据协同记录，使模型能够同时学习视觉感知与运动控制。14维动作空间精确对应双臂电机的角度与夹爪状态，支持高自由度控制。数据集未划分验证集，所有50个回合均用于训练，强化了数据利用率。此外，数据以Parquet格式压缩存储，兼顾了读取效率与存储空间。

使用方法

使用该数据集时，推荐基于LeRobot框架进行加载与处理。用户可通过读取Parquet文件获取每个回合的观测图像、机器人状态及动作序列。在训练模仿学习模型时，可将图像输入视觉编码器提取特征，并与状态向量拼接后映射至动作空间。数据集支持离线强化学习或行为克隆范式，通过索引与帧顺序构建时间依赖关系。由于未提供视频文件，需依赖图像帧序列重建视觉流。建议以50Hz的原始频率采样，或根据模型需求降采样。训练前应标准化状态与动作数据，并利用数据增强技术提升泛化能力。

背景与挑战

背景概述

在机器人操作领域，双臂精细操控任务长期受限于高成本硬件与复杂算法之间的鸿沟。2023年，Tony Zhao、Vikash Kumar、Sergey Levine及Chelsea Finn等学者联合提出了ALOHA系统，旨在通过低成本硬件实现高精度的双臂协同操作。基于此，LeRobot团队构建了aloha_sim_insertion_scripted_image数据集，专注于模拟环境下的插入任务。该数据集包含50个完整演示轨迹，共计20000帧图像与状态-动作对，以50Hz的频率记录14维关节控制信号。其诞生为模仿学习与强化学习研究提供了标准化的双臂操作基准，显著降低了机器人学习研究的硬件门槛，推动了从仿真到真实场景迁移的探索。

当前挑战

当前数据集面临的核心挑战首先在于领域问题层面：双臂插入任务要求算法同时协调左右机械臂的精细运动，对轨迹规划的鲁棒性与实时性提出极高要求，现有模型在应对微小姿态偏差时仍易失败。其次，构建过程中存在数据采集的瓶颈：虽然ALOHA系统降低了硬件成本，但人工遥操作演示仍耗时耗力，50个演示样本在覆盖复杂环境变量（如目标位置随机扰动）时显不足。此外，仿真环境与真实物理世界间的Sim-to-Real迁移差距，使得基于该数据集训练的模型在实际部署中面临动力学参数不匹配、视觉域差异等严峻挑战，亟需更高效的域随机化策略与数据增强方法。

常用场景

经典使用场景

在机器人学习领域，该数据集作为模仿学习（Imitation Learning）的经典基准，被广泛用于训练双臂协作机器人执行高精度插拔任务。其核心场景聚焦于利用50条专家演示轨迹，通过行为克隆（Behavioral Cloning）或扩散策略（Diffusion Policy）等方法，从高维视觉观测与14维关节状态中学习精细的力控与位置控制策略。由于任务涉及微小间隙的轴向对齐与插入，该数据集成为验证算法在亚毫米级操作精度与长时域动作序列建模能力的理想测试平台。

实际应用

在实际工业场景中，该数据集驱动的模型可部署于电子元件装配、医疗精密器械操作等需要高柔顺性与容错能力的环节。例如，基于该数据训练的双臂机器人能够自主完成USB接口插拔、芯片引脚对准等重复性任务，替代人工从事高疲劳度的精密操作。通过结合力传感器反馈与视觉伺服，系统可在动态环境中实时调整抓取姿态，显著提升产线良品率与作业效率，尤其适用于柔性制造中对快速换产具有刚性需求的中小批量生产场景。

衍生相关工作

该数据集衍生了多项里程碑式工作，如扩散策略（Diffusion Policy）首次在此数据集上验证了生成式模型在机器人动作序列预测中的优越性，其通过迭代去噪过程生成平滑且多模态的动作分布，显著优于传统高斯混合模型。此外，ACT（Action Chunking with Transformers）算法利用该数据集证明了时间序列分块与Transformer架构结合能有效解决长程任务中的误差累积问题。后续研究如3D扩散策略（3D Diffusion Policy）进一步引入空间几何约束，在插拔任务中实现了对物体位姿变化的鲁棒泛化，推动了具身智能领域从数据驱动向物理感知的范式演进。