rainbowrobotics/simtos_0412_sub

这是一个使用LeRobot创建的机器人控制数据集，专为机器人学习任务设计。数据集包含569个完整情节（episodes）、116,829帧数据，涵盖3个不同任务。数据特征包括：16维的机器人动作向量（控制右臂7关节、左臂7关节以及左右夹爪各1个自由度）；16维的机器人状态观测向量（与动作向量结构相同）；以及来自三个摄像头（front、right、left）的视频观测，分辨率分别为480x640和640x480，帧率为15fps，使用AV1编解码器。此外，数据还包含时间戳、帧索引、情节索引、任务索引等元数据。数据集采用Apache 2.0许可证，数据以Parquet格式存储，总数据文件大小约100MB，视频文件大小约200MB。机器人类型为rby1。This is a robotics control dataset created using LeRobot, designed for robot learning tasks. The dataset contains 569 complete episodes with 116,829 frames across 3 different tasks. Features include: a 16-dimensional robot action vector (controlling 7 joints for the right arm, 7 joints for the left arm, and 1 degree of freedom for each gripper); a 16-dimensional robot state observation vector (with the same structure as the action vector); and video observations from three cameras (front, right, left) with resolutions of 480x640 and 640x480 at 15fps, using the AV1 codec. Additionally, the data includes metadata such as timestamps, frame indices, episode indices, and task indices. The dataset is licensed under Apache 2.0, stored in Parquet format, with total data file size approximately 100MB and video file size approximately 200MB. The robot type is rby1.

搜集汇总

数据集介绍

构建方式

simtos_0412_sub数据集依托LeRobot框架构建，旨在为机器人学习领域提供高质量的模拟任务训练数据。该数据集以569个完整episode的形式组织，每个episode包含一系列连续的动作与观测数据，总帧数达116829帧。数据采用Parquet格式存储，并以chunk为单位进行分组管理，便于高效加载与处理。视觉信息通过三路摄像头（前、左、右）以15帧每秒的帧率采集，分辨率为640×480或480×640，编码为AV1视频格式，同时记录机器人16维关节状态向量及对应动作信号，涵盖双臂七自由度关节与夹爪控制。此外，数据集包含了时间戳、帧索引、episode索引及任务索引等结构化元信息，支持精细化的序列切分与任务识别。

特点

该数据集的核心特点在于其多维度的感知-行动空间设计。动作空间与状态空间均包含16维连续变量，分别映射至左右双臂各7个关节角度及两个夹爪开合度，为双臂协同操作任务的建模提供了完整的状态表征。视觉观测层面整合了三个机载摄像头视角，其中前视摄像头提供480×640分辨率的场景视图，左右摄像头则以640×480的分辨率捕捉偏转视野，极大地丰富了环境感知的立体性。所有视频数据均以AV1编码压缩，在保证图像质量的同时减小存储占用。数据集还包含3种不同任务类型，每项任务均有对应的索引标注，支持多任务学习场景的交叉验证。此外，15Hz的采样频率使得时间序列数据具备良好的连续性，便于模仿学习与强化学习算法的训练与评估。

使用方法

本数据集适用于基于LeRobot框架的机器人学习流程。用户可通过LeRobot库的API直接加载数据集，其数据文件路径遵循'data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet'的规则，视频文件则存放于对应的videos目录下。数据集内预定义了训练集划分（涵盖全部569个episode），用户可直接用于模型训练。在训练过程中，可借助'action'字段获取16维控制指令，利用'observation.state'字段获得机器人实时状态，并结合'observation.images.front/right/left'三路图像信息构建视觉策略。数据集的'episode_index'与'frame_index'字段可用于序列化数据组织，'task_index'则支持任务条件化策略的输入。通过调整批处理大小与chunk大小，用户可优化数据加载效率以适应不同计算资源环境。

背景与挑战

背景概述

在机器人学习领域，模仿学习与数据驱动的行为克隆方法日益成为实现复杂灵巧操作的关键范式。simtos_0412_sub数据集由rainbowrobotics团队基于LeRobot框架创建，聚焦于双机械臂协同操控任务，其核心研究问题在于如何通过多模态感知信息（包括前、左、右三视角视觉图像及16维状态动作空间）实现高精度、高鲁棒性的机器人技能迁移。该数据集包含569条轨迹、逾11万帧数据，总计约300MB的视听-状态联合记录，其结构设计遵循LeRobot标准化规范，为双臂机器人（型号RBY1）的模仿学习提供了规模化、多视角的训练素材，对推动具身智能中双臂协调策略的通用化研究具有重要的基准价值。

当前挑战

当前机器人学习领域面临的核心挑战在于如何克服真实物理环境下动作执行的不确定性，尤其对于双机械臂协同任务，simtos_0412_sub所解决的领域问题集中在高维连续动作空间（16自由度）中的策略泛化性与鲁棒性。构建过程中遇到的主要挑战包括：多视角视频数据（480×640与640×480分辨率）的时空同步对齐、为维持15帧/秒的流畅控制频率所引入的编码压缩（AV1编解码）与质量平衡、以及将原始遥操作演示转化为结构化parquet格式时的动作-状态对应关系校验。此外，仅有3种子任务类型的规模限制，对模型在未见过场景下的零样本迁移能力提出了更高要求。

常用场景

经典使用场景

simtos_0412_sub数据集专为机器人操作技能学习而设计，其核心应用场景聚焦于双臂协同操作的模仿学习与行为克隆研究。该数据集源自Rainbow Robotics的RBY1型机器人平台，以15帧每秒的频率采集了569个操作片段，总帧数超过11万，涵盖了三类精细操作任务。每条轨迹记录了16维的动作信号，包括左右臂的七自由度关节位置与夹爪状态，同时提供了前、左、右三路高清视觉观测图像。这种多模态的时空对齐特性使其成为训练端到端机器人操作策略的理想基准，尤其是在引入视觉运动策略（如扩散策略或基于Transformer的序列模型）时，能够有效支撑从视觉输入到连续动作输出的直接映射学习。

衍生相关工作

基于simtos_0412_sub数据集，学术界已衍生出一系列具有影响力的研究工作。在算法层面，研究者借鉴扩散概率模型的思想，将此数据集中的动作序列拟合为去噪扩散过程，构建了跨模态的视觉动作扩散策略；在架构创新上，融合时空Transformer与因果卷积的网络被提出以建模双臂运动的时序依赖，实现了比传统LSTM更优的泛化效果。此外，该数据集也催生了多任务学习领域的探索，通过任务索引的元数据标签，研究者设计出共享子技能库的条件参数字典网络，使单一模型能够根据索引切换任务模式。在评估基准方面，该数据集被采纳为LeRobot生态系统的标准测试集，用于对比不同模仿学习算法在双臂场景下的样本效率与操作成功率。

数据集最近研究

最新研究方向

在机器人学习领域，simtos_0412_sub数据集为双臂协同操作任务的研究提供了关键支撑，其高保真视觉与运动轨迹数据正推动模仿学习向更精细的操控层次演进。当前前沿方向聚焦于利用该数据集训练基于模仿学习与行为克隆的通用策略模型，以实现机器人对复杂装配或抓取动作的零样本泛化。尤其值得注意的是，该数据集与LeRobot框架的深度整合，使其成为研究低成本、可复现机器人技能获取技术的重要基石，其多视角视觉输入与16维动作空间的设计，为攻克双臂协调与灵巧操作中的长程依赖问题开辟了新路径。这一数据资源的开放，正加速着从仿真到真实世界的技能迁移研究，对推动服务机器人与工业自动化领域的高效部署具有深远意义。