soar_success

该数据集是使用LeRobot框架创建的机器人演示数据集，专为机器人学习任务设计。它包含来自WidowX 250机器人的多模态记录，涵盖了165个不同任务，总计9966个episodes和1,034,228帧数据。数据以每秒5帧的帧率采集，并以Parquet格式存储，总数据文件大小约为100MB，视频文件大小约为200MB。数据集提供了丰富的特征字段，包括：观测图像（分辨率为256x256的RGB视频）、机器人末端执行器的原始状态（位置xyz、姿态rpy、夹爪状态）与目标状态、经过处理的状态（位置xyz、旋转表示rot6d、夹爪状态）、调试信息以及任务执行的成功标志（success）。此外，还包含时间戳、帧索引、episode索引等元数据。数据集仅包含训练集分割（0:9966），适用于机器人模仿学习、强化学习、行为克隆等研究与应用。This dataset is a robot demonstration dataset created using the LeRobot framework, specifically designed for robot learning tasks. It contains multimodal recordings from the WidowX 250 robot, covering 165 different tasks, with a total of 9,966 episodes and 1,034,228 frames. The data is collected at 5fps and stored in Parquet format, with a total data file size of approximately 100MB and video file size of about 200MB. The dataset provides rich feature fields, including: observation images (RGB video with 256x256 resolution), raw robot end-effector states (position xyz, orientation rpy, gripper state) and target states, processed states (position xyz, rotation representation rot6d, gripper state), debugging information, and success flags for task execution (success). Additionally, it includes metadata such as timestamps, frame indices, and episode indices. The dataset only contains a training split (0:9966) and is suitable for research and applications in robot imitation learning, reinforcement learning, and behavior cloning.

原始信息汇总

数据集概述

• 数据集名称: soar_success
• 许可证: MIT
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, soar, widowx

数据集规模

指标	数值
总集数 (total_episodes)	9966
总帧数 (total_frames)	1034228
总任务数 (total_tasks)	165
数据文件总大小	100 MB
视频文件总大小	200 MB
帧率 (fps)	5

数据集结构

• 机器人类型: widowx_250
• 分割 (Splits): 仅包含训练集 (train)，范围为 0:9966。
• 数据存储格式:
  • 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征 (Features)

数据集包含以下特征，涵盖了机器人的状态、目标、观测以及任务成功信息：

特征名称	数据类型	形状	描述
观察 (Observation)
observation.images.image_0	视频 (video)	(256, 256, 3)	第一视角RGB图像，序列帧，分辨率256x256，AV1编码，5fps
原始状态 (Raw State)
raw_state.eef_xyz	float32	(3,)	机械臂末端执行器位置 (x, y, z)
raw_state.eef_rpy	float32	(3,)	机械臂末端执行器姿态 (roll, pitch, yaw)
raw_state.gripper_state	float32	(1,)	夹爪状态
原始目标 (Raw Target)
raw_target.eef_xyz	float32	(3,)	目标末端执行器位置 (x, y, z)
raw_target.eef_rpy	float32	(3,)	目标末端执行器姿态 (roll, pitch, yaw)
raw_target.gripper_state	float32	(1,)	目标夹爪状态
归一化状态 (State)
state.eef_xyz	float32	(3,)	归一化后的末端执行器位置 (x, y, z)
state.eef_rot6d	float32	(6,)	归一化后的末端执行器6D旋转表示
state.gripper_state	float32	(1,)	归一化后的夹爪状态
归一化目标 (Target)
target.eef_xyz	float32	(3,)	归一化后的目标末端执行器位置 (x, y, z)
target.eef_rot6d	float32	(6,)	归一化后的目标末端执行器6D旋转表示
target.gripper_state	float32	(1,)	归一化后的目标夹爪状态
调试 (Debug)
debug.gripper_eef_xyz	float32	(3,)	夹爪末端执行器位置 (x, y, z)，用于调试
debug.gripper_eef_rot6d	float32	(6,)	夹爪末端执行器6D旋转表示，用于调试
任务与索引
success	float32	(1,)	任务是否成功的标志
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	集索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

搜集汇总

数据集介绍

构建方式

soar_success数据集是基于LeRobot框架构建的大规模机器人操作数据集，旨在为模仿学习与行为克隆提供高质量的训练素材。该数据集通过采集WidowX 250机械臂在多种任务中的执行轨迹，记录包括末端执行器位姿、夹爪状态及目标指令在内的完整状态信息。数据以Parquet格式存储，辅以同步采集的256×256分辨率AV1编码视频流，每个样本均标注任务成功标志位。数据集共包含9966条演示片段，覆盖165类操作任务，总帧数超过百万级别，为机器人学习研究提供了丰富的多模态观测数据。

特点

该数据集的核心特点在于其规模宏大且结构高度结构化。所有演示均以5帧每秒的频率采样，时间序列长度依据任务复杂度动态变化，并以分块存储策略将数据文件分割为1000帧的单元，便于分布式训练。数据集提供了从原始传感器读数到归一化状态与目标值的多层次表示，包含末端执行器位置、旋转六维参数及夹爪开度等关键量。特别地，数据集引入成功标志位作为关键标签，使算法能够直接从经验中区分有效与无效操作，为奖励建模与策略评估奠定基础。

使用方法

使用者可通过LeRobot工具链直接加载并解析该数据集，调用其内置的可视化界面快速浏览演示内容。数据集默认划分为训练集，支持通过控制索引范围实现自定义分割。使用时可提取观察图像序列与对应状态向量，构建端到端的视觉运动策略。目标状态序列可直接作为逆动力学模型的监督信号，而成功标志位可用于设计基于二元分类的终止条件或奖励函数。为兼容主流深度学习框架，推荐将数据重构为固定长度的连续时间窗口，并配合数据增强技术提升模型的泛化能力。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习依赖于高质量、多样化的示范数据来训练泛化能力强的策略。soar_success数据集由研究者基于LeRobot框架创建，采用WidowX 250机械臂平台，通过遥操作方式采集了涵盖165种任务、近万条成功轨迹的示范数据，总计超过一百万帧。该数据集以成功任务为核心，记录了机械臂末端执行器的位姿、夹爪状态、视觉观测以及任务成功标签等关键信息，旨在推动机器人操作技能从特定场景向多任务泛化迈进。作为开源资源，该数据集在高保真物理仿真与真实机器人部署之间架起桥梁，为后续研究提供了可复现的基准，加速了具身智能体在复杂操作任务中的学习进程。

当前挑战

该数据集所解决的领域挑战聚焦于机器人操作技能的多任务泛化与数据效率问题。传统单一任务数据集难以支撑机器人应对真实场景中变换的目标与环境，而soar_success通过覆盖165种不同操作任务，为学习通用操作策略提供了基础。然而，构建过程中面临多重挑战：首先，如何在保持操作精度前提下，设计高效的遥操作采集流程以获取大规模高质量示范；其次，确保不同任务间数据一致性，避免因传感器噪声或人为偏差引入策略学习的偏差；此外，多模态数据的高效存储与组织亦是难题，多达103万帧的观测图像与状态数据需在较小的存储空间内完成压缩与索引，从而支持后续模型训练的可扩展性。

常用场景

经典使用场景

在机器人学习领域，soar_success数据集以其丰富的示范数据为模仿学习提供了理想的训练资源。该数据集包含近万条成功操作轨迹，覆盖165种不同的机械臂任务，每条轨迹均记录有高保真的视觉图像、末端执行器位姿以及夹爪状态。研究者可借助这些多模态数据训练策略网络，使机器人通过观察专家示范学习从视觉输入到动作输出的映射，实现复杂任务的精准复现。

衍生相关工作

以此数据集为基石，衍生出多项前沿研究，包括基于Transformer的多任务策略网络、跨任务元学习框架以及视觉-运动联合表示学习。研究者通过对此数据的深入挖掘，提出了任务无关的动作基元提取方法，实现了零样本迁移。此外，成功信号被用于训练奖励模型，推动了逆最优控制与离线强化学习的融合创新，成为机器人学习社区中基准性能验证的关键一环。

数据集最近研究

最新研究方向

在机器人学习领域，soar_success数据集以其在WidowX 250机械臂平台上收集的9966个成功操作片段而备受瞩目。该数据集涵盖165种不同任务，融合了高保真视觉观测与精细的末端执行器位姿、夹爪状态及成功标志等多元模态信息，为模仿学习与基于演示的强化学习研究提供了坚实基础。当前热点研究方向聚焦于借助此类大规模、多任务的成功演示数据，驱动机器人策略的泛化能力突破，尤其是在复杂长程操作任务中实现零样本或少样本迁移。这一数据集的发布，有力地促进了数据驱动机器人控制范式的演进，为构建通用型操作智能体奠定了重要的数据基础。