edmos7/so100_dummy_traj

该数据集是使用LeRobot创建的机器人领域数据集，专为so_follower机器人设计。数据集包含20个episodes，总计9012帧，涵盖1个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集的特征包括：动作（action）和观察状态（observation.state），均包含6个关节位置（肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转、夹爪位置）；时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、索引（index）和任务索引（task_index）。此外，数据集还提供两个摄像头的图像数据：MAIN_CAM和SEC_CAM，均为视频格式，分辨率480x640，3通道，使用av1编解码器，30fps，无音频。数据集结构按chunks组织，便于访问和处理。This dataset was created using LeRobot and belongs to the robotics domain, specifically designed for the so_follower robot. It contains 20 episodes, totaling 9012 frames, and covers 1 task. The data is stored in parquet format, with a total data file size of 100MB and video file size of 200MB, at a frame rate of 30fps. The dataset features include: action and observation.state, both comprising 6 joint positions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position); timestamp, frame_index, episode_index, index, and task_index. Additionally, the dataset provides image data from two cameras: MAIN_CAM and SEC_CAM, both in video format with a resolution of 480x640, 3 channels, using the av1 codec, at 30fps, and without audio. The dataset structure is organized into chunks for easy access and processing.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量数据集的构建是推动智能体技能习得的关键基石。so100_dummy_traj数据集基于LeRobot框架精心创建，旨在为机器人操作任务提供标准化训练素材。该数据集源自一个名为pickplace_20的源仓库，通过记录SO-100型机械臂执行拾取与放置操作的完整轨迹，采集了20个演示回合、共计9012帧的时序数据。每个回合均以30帧/秒的采样频率录制，并存储为Parquet格式的结构化数据文件与MP4格式的视频文件。为了便于高效加载与迭代处理，数据集被划分为多个数据块，每个块容量设计为1000帧，其元数据信息详尽地记录于info.json文件中。

特点

该数据集最显著的特点是融合了高维视觉观测与低维本体状态信息，为模仿学习与强化学习方法提供了丰富的多模态输入。具体而言，观测空间包含两个640×480分辨率的摄像头视角——主摄像头与辅助摄像头，均以AV1编码压缩存储，兼顾了画质与存储效率。同时，状态空间精准映射了机械臂的6个关键自由度，包括肩部旋转、肩部抬升、肘部弯曲、腕部屈伸、腕部旋转及夹爪开合，其动作与状态空间的维度与名称完全对应，确保了策略学习过程中控制信号与感知信息的一致性。此外，数据集内置了完整的时序索引、回合索引与任务标签，便于实现分段式训练与评估。

使用方法

借助LeRobot生态系统的强大兼容性，研究者可通过简洁的API接口直接加载并可视化该数据集。用户仅需调用LeRobot内置的数据集查看工具，并指定数据集路径“edmos7/so100_dummy_traj”，即可在交互式界面中逐帧浏览机器人的运动轨迹与视觉记录。数据集默认划分为训练集，涵盖全部20个回合，适合用于端到端的行为克隆或策略蒸馏。在自定义训练流程中，开发者可按需访问meta/info.json中的特征定义，利用action、observation.state、observation.images.MAIN_CAM等字段构建观察-动作对，从而便捷地适配各类机器人学习算法的输入输出格式。

背景与挑战

背景概述

该数据集由edmos7于2024年基于LeRobot框架创建，聚焦于机器人操作领域的模仿学习研究，核心研究问题在于如何通过少量演示数据驱动低成本机器人平台（如so_follower机械臂）执行精准的拾取与放置任务。数据集包含20个演示片段，共计9012帧，通过双摄像头（MAIN_CAM和SEC_CAM）记录视觉与关节状态信息，为机器人策略学习提供了多模态对齐的观测-动作对。作为开源贡献，其采用Apache-2.0许可，推动了机器人学习社区中低成本硬件与数据驱动方法的融合，对灵巧操作算法验证与跨平台泛化研究具有参考价值。

当前挑战

数据集面临的挑战首先体现在领域问题层面：机器人模仿学习需在有限演示数据下（20个片段）泛化至新场景，而so_follower机械臂的6自由度动作空间与高维视觉输入（双摄像头视频流）之间存在特征鸿沟，易导致策略过拟合或状态估计偏差。构建过程中，数据采集需同步记录30Hz的关节状态与视频流，并确保帧级时间戳对齐，但低成本传感器固有噪声与硬件同步误差会引入观测不一致性；此外，动作标签（如夹爪位置）依赖人工遥操作录制，长时间操作可能产生疲劳导致的轨迹抖动，影响数据质量与策略复现的鲁棒性。

常用场景

经典使用场景

so100_dummy_traj数据集专为机器人模仿学习领域设计，尤其适用于学习基于视觉和状态观测的精细操控任务。该数据集包含20个示范轨迹，共计9012帧，由6自由度机器人（so_follower）在物体拾取与放置任务中采集而成。每帧数据同步记录了六维关节位置、双视角视频图像（MAIN_CAM与SEC_CAM）及时间戳信息，为构建端到端的机器人行为克隆模型提供了理想训练素材。经典用法是将观测图像和联合状态作为输入，以专家动作序列为监督信号，训练策略网络学习从感知到动作的映射关系。

解决学术问题

该数据集有效解决了机器人学习领域中长期存在的示范数据获取难题，为验证小样本模仿学习算法提供了标准化基准。其精心设计的单任务、多视角记录模式，能支撑对比行为克隆、逆强化学习以及基于扩散策略的动作生成等学术方法。通过高帧率（30 FPS）采集，数据能捕捉操作过程中的细微动态，助力研究者探索时序建模对操控精度的影响。这一资源的开放，显著降低了入门门槛，推动了可复现研究的发展。

衍生相关工作

围绕该数据集已衍生出多项代表性研究，涵盖示教轨迹的自动增强算法、基于多视角融合的鲁棒策略学习以及高效数据混合训练方法。例如，部分工作利用其结构化的时序特征开发了动作分块与回放模块，提升了策略对观测噪声的鲁棒性。另有研究以此为基底，对比了不同视觉编码器在模仿学习下的性能差异。该数据集还与LeRobot生态中的其他数据组合，支撑了跨本体机器人动作迁移等前沿课题，持续赋能开源机器人研究社区的技术迭代。