edmos7/so100_multitask_80-trajectory

该数据集是一个用于机器人任务的数据集，使用LeRobot创建。它包含80个episodes，总计38620帧，帧率为30 fps。数据集专为so_follower类型的机器人设计，涉及单一任务。数据以parquet文件格式存储，总数据文件大小为100 MB，视频文件大小为200 MB。数据集的特征包括：动作数据（包含6个关节位置：shoulder_pan.pos、shoulder_lift.pos、elbow_flex.pos、wrist_flex.pos、wrist_roll.pos、gripper.pos），观测状态数据（与动作相同的关节位置），时间戳、帧索引、episode索引、索引和任务索引。此外，还包含图像观测：轨迹图像（480x640分辨率，3通道）和两个摄像头视频观测（MAIN_CAM和SEC_CAM，均为480x640分辨率，3通道，30 fps，使用AV1编解码器）。数据分割为训练集（全部80个episodes）。This dataset is a robotics task dataset created using LeRobot. It contains 80 episodes with a total of 38,620 frames at 30 fps. The dataset is designed for a so_follower type robot and involves a single task. Data is stored in parquet format, with a total data file size of 100 MB and video file size of 200 MB. The dataset features include: action data (with 6 joint positions: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos), observation state data (same joint positions as actions), timestamp, frame index, episode index, index, and task index. Additionally, it includes image observations: trajectory image (480x640 resolution, 3 channels) and two camera video observations (MAIN_CAM and SEC_CAM, both 480x640 resolution, 3 channels, 30 fps, using AV1 codec). The data is split into a training set (all 80 episodes).

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操控领域，采集了80条高质量轨迹数据，总计38620帧图像与状态信息。数据集使用so_follower型机器人，通过多视角相机（主摄像头与辅助摄像头）以30帧/秒的帧率记录操作过程，涵盖肩部、肘部、腕部及夹爪共6个维度的动作与状态数据。所有数据被切分为多个大小为1000帧的数据块，以parquet格式存储结构化信息，并同步保存视频流，便于后续训练与回放。数据集仅含单一任务，但轨迹变化丰富，适合用于模仿学习与行为克隆研究。

使用方法

数据集可通过LeRobot库提供的专用实用工具轻松加载，用户只需指定数据集标识符即可自动下载并解析parquet文件与视频数据。在训练过程中，可便捷地索引到特定episode或frame，利用chunks_size参数控制批量处理时的内存占用。对于图像模态，建议使用LeRobot内置的可视化界面进行数据预览与质量检查。模型开发时，可直接将action字段作为监督信号，observation.state作为状态输入，并结合observation.images字段完成多模态策略训练。数据遵循Apache-2.0协议，允许自由使用与修改。

背景与挑战

背景概述

该数据集由研究者edmos7基于LeRobot框架创建，旨在为机器人学习领域提供高质量的多任务轨迹数据。随着模仿学习与强化学习在机器人操作中的广泛应用，标准化的数据集成为推动算法发展的关键。so100_multitask_80-trajectory数据集于近期发布，聚焦于单任务场景下的80条完整轨迹，涵盖38620帧高频率采样（30 FPS）的机械臂状态与多视角视觉信息。其核心研究问题在于通过精细化的状态-动作序列（6维关节控制）与双摄像头观测（主摄像头与轨迹摄像头），为机器人动作规划与视觉-运动协调提供基准。该数据集因其规范的采集流程与开源许可（Apache-2.0），对低成本机器人平台（如SO-100）的研究具有重要示范意义，有望加速灵巧操作与闭环控制领域的实验复现与模型迁移。

当前挑战

该数据集所解决的领域问题聚焦于机器人操作中的动作预测与状态表征学习，核心挑战包括：1）在有限轨迹（80条）条件下，如何实现高精度的泛化控制，避免过拟合至特定运动模式；2）多摄像头视觉数据（480×640分辨率）与关节状态的时间同步性，对多模态融合算法提出严苛要求。构建过程中，数据集面临硬件成本与数据多样性的权衡——仅含6自由度机械臂的单任务数据难以覆盖复杂环境，且视频压缩编码（AV1）虽节省存储，却可能引入感知失真。此外，单任务标签（task_index为固定值）限制了多任务迁移学习的直接应用，需额外设计任务嵌入策略以拓展其研究潜力。

常用场景

经典使用场景

在机器人学习与模仿学习领域，so100_multitask_80-trajectory数据集通过记录80条完整的机器人操作轨迹，为单任务模仿学习提供了高质量的示范数据。每条轨迹包含6维关节状态（肩部、肘部、腕部及夹爪）与对应动作，并结合主、副两个视角的视觉观测（480×640分辨率视频），形成状态-动作-图像三元组。研究者常将其作为训练行为克隆（Behavior Cloning）或逆强化学习模型的基准数据集，以验证算法从稀疏示范中泛化操作策略的能力。其结构规范、帧率稳定（30 FPS）的特性，尤其适合评估模型在连续控制任务中的轨迹复现精度，如夹爪抓取或关节协同运动。

解决学术问题

该数据集核心解决了机器人操作学习中数据稀缺与标准化缺失的学术困境。通过提供80条经过同步标注的轨迹，它降低了从零采集专家示范的成本，使研究者能聚焦于算法设计而非数据工程。数据集统一了动作空间与观测维度，为对比不同模仿学习架构（如扩散策略、Transformer决策模型）提供了公平基准。其贡献在于推动建立可复现的评估体系——当学界探讨弱监督下的策略泛化或视觉-运动联合表征时，此数据集可作为黄金标准校验模型能否在有限示范下避免因果混淆与动作语义歧义，进而强化机器人从示范中抽象出任务本质的能力。

实际应用

在实际场景中，该数据集支撑着轻量级协作机器人的技能迁移部署。例如，基于其训练的策略可直接应用于so_follower机械臂，完成物料分拣、精密装配等工业任务。结合LeRobot框架，开发者只需调用预定义的视觉编码器与动作解码器，便能将数据集中学到的抓取模式迁移至新工件。此外，因数据集包含双视角视觉输入，它也可用于增强远程操作系统的鲁棒性——当主摄像头被遮挡时，副摄像头的冗余视角仍能维持操作精度。这种设计显著降低了部署成本，使中小企业无需巨额数据积累即可快速投产基础操作技能。

数据集最近研究

最新研究方向

该数据集聚焦于机器人多任务操作轨迹学习的前沿方向，利用LeRobot框架采集包含双视角视觉与六自由度关节状态的精细运动数据，为模仿学习与行为克隆算法提供了高质量的示范基础。结合近期具身智能与机器人基础模型的热潮，此类多轨迹数据集正成为推动通用机器人策略泛化能力的关键资源，其标准化格式与Apache-2.0许可也进一步促进了学术与工业界的协作创新。