遇见数据集

so101-3tasks-100eps

收藏
Hugging Face2026-08-06 更新2026-08-07 收录
官方服务:

资源简介:

该数据集是一个用于机器人操控任务的示范数据集,通过LeRobot框架创建。数据集包含300个示范片段(episodes),总计172991帧,涵盖3个不同的任务。机器人类型为so_follower(一种跟随机器人)。数据以parquet文件存储结构化数据(如动作、状态、时间戳等),以mp4视频文件存储来自顶部和腕部摄像头的图像(分辨率480x640,30fps,AV1编码)。每个样本包含6维关节角度动作(shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll、gripper)以及对应的状态观测,此外还有帧索引、片段索引、任务索引等元数据。该数据集适用于机器人模仿学习、行为克隆、示教学习等任务。

This dataset is a demonstration dataset for robotic manipulation tasks, created using the LeRobot framework. It contains 300 demonstration episodes with a total of 172,991 frames across 3 different tasks. The robot type is so_follower (a follower robot). The data is stored in parquet files for structured data (e.g., actions, states, timestamps) and in mp4 video files for images from top and wrist cameras (resolution 480x640, 30fps, AV1 codec). Each sample includes 6-dimensional joint angle actions (shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper) and corresponding state observations, along with metadata such as frame index, episode index, task index. The dataset is suitable for tasks such as robotic imitation learning, behavioral cloning, and teaching learning.

创建时间:
2026-07-28
原始信息汇总

数据集概述:hjkso1406/so101-3tasks-100eps

基本信息

  • 数据集名称:so101-3tasks-100eps
  • 许可证:Apache-2.0
  • 任务类别:机器人技术(Robotics)
  • 标签:LeRobot
  • 创建工具:使用LeRobot框架(https://github.com/huggingface/lerobot)创建
  • 数据格式:Parquet

数据规模

  • 总轨迹数(Episodes):300
  • 总帧数:172,991帧
  • 总任务数:3个
  • 数据文件大小:100 MB
  • 视频文件大小:200 MB
  • 帧率:30 FPS
  • 数据划分:训练集包含全部300个轨迹(train: 0:300)

机器人及配置

  • 机器人类型:so_follower(SO系列从动臂)
  • 代码库版本:v3.0
  • 块大小(Chunk Size):1000

数据特征(Features)

动作(Action)

  • 数据类型:float32
  • 维度:6维
  • 包含字段
    • shoulder_pan.pos(肩部水平旋转位置)
    • shoulder_lift.pos(肩部升降位置)
    • elbow_flex.pos(肘部弯曲位置)
    • wrist_flex.pos(腕部弯曲位置)
    • wrist_roll.pos(腕部旋转位置)
    • gripper.pos(夹爪位置)

观测状态(Observation.state)

  • 数据类型:float32
  • 维度:6维
  • 包含字段:与动作字段相同(肩部、肘部、腕部、夹爪位置信息)

顶部摄像头图像(Observation.images.top)

  • 数据类型:视频(Video)
  • 分辨率:480 x 640 x 3(高 x 宽 x 通道)
  • 视频编码:AV1
  • 像素格式:yuv420p
  • 帧率:30 FPS
  • 是否为深度图:否
  • 是否含音频:否

腕部摄像头图像(Observation.images.wrist)

  • 数据类型:视频(Video)
  • 分辨率:480 x 640 x 3(高 x 宽 x 通道)
  • 视频编码:AV1
  • 像素格式:yuv420p
  • 帧率:30 FPS
  • 是否为深度图:否
  • 是否含音频:否

其他元数据特征

  • timestamp:时间戳(float32)
  • frame_index:帧索引(int64)
  • episode_index:轨迹索引(int64)
  • index:全局索引(int64)
  • task_index:任务索引(int64)

数据存储结构

  • 数据文件路径data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频文件路径videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

  • 论文:暂无
  • BibTeX:暂无
搜集汇总
数据集介绍
so101-3tasks-100eps 数据集图片
构建方式
本数据集名为so101-3tasks-100eps,由LeRobot框架精心构建,专为机器人操作学习领域设计。其构建过程遵循严谨的流程,依托SO-101(即SO-ARM100)机械臂平台,采集了包含三个不同任务在内的共计300个演示回合,帧率设定为30fps,累计生成了172,991帧详细的操作数据。数据以Parquet格式存储,并辅以MP4格式的高清视频记录,确保多模态信息的完整保留。所有数据被划分为训练集,并按照统一的规则进行分块存储,每个块包含1000帧,便于高效加载与处理。数据特征涵盖了机械臂各关节的位置信息、两路视觉观测图像、时间戳及任务索引等,为后续的模仿学习与强化学习算法提供了结构清晰、信息丰富的数据基础。
使用方法
该数据集的使用方法便捷高效,完全兼容LeRobot生态体系。研究者可通过HuggingFace数据集平台直接加载使用,LeRobot库中内置了针对此类数据集的加载与可视化工具,仅需数行代码即可完成数据流的读取与预览。数据集的目录结构清晰,Parquet数据文件与视频文件分离存放,便于按需访问。鉴于其标准化的特征格式,该数据集可无缝对接主流的模仿学习算法,如行为克隆、扩散策略等。同时,数据集提供了完整的训练集划分(0到300个回合),支持直接进行模型的端到端训练与验证。由于使用了Apache-2.0开源许可,该数据集能够被自由地用于学术研究及商业应用,极大地促进了机器人学习领域的知识共享与技术迭代。
背景与挑战
背景概述
该数据集由研究者hjkso1406于近期创建,基于Hugging Face的LeRobot框架,旨在为机器人操作学习提供高质量的训练数据。数据集包含300个演示片段,涵盖三项不同的任务,总帧数达172,991,以30帧每秒的速率采集,并配备顶部及腕部摄像头图像,以及6维关节角度状态与动作数据。其核心研究问题在于利用示范学习使SO-100双臂机器人具备多任务操作能力,推动模仿学习与强化学习在真实机器人系统中的落地应用。作为开源数据集,它支持机器人学习社区复现与改进,对具身智能领域的研究与发展具有重要推动作用。
当前挑战
该数据集面临多重挑战:首先,机器人操作任务本身复杂度高,涉及精确的关节控制与视觉-运动协调,需同时处理高维状态空间与动态环境变化;其次,数据采集过程中需保证示范质量与多样性,以覆盖任务变体和边缘情况,避免策略过拟合;再者,数据集仅含300条片段,规模相对有限,可能限制模型泛化能力。构建阶段还涉及多传感器同步、视频与状态数据对齐、以及大规模数据处理与存储等工程难题,这些均对数据集的实用性与后续算法的性能提升构成挑战。
常用场景
经典使用场景
so101-3tasks-100eps数据集是面向机器人操作学习领域的高质量模仿学习数据集,其核心应用场景在于训练和评估基于视觉的机器人操作策略。该数据集由SO-101机械臂在多种任务中采集,包含300个演示片段和约17.3万帧的高频图像与状态数据,涵盖了从简单抓取到复杂装配的多样化操作任务。借助其精细的动作标注与多视角视觉输入,研究者能够开展端到端的模仿学习研究,训练策略网络直接映射视觉观察到关节动作,并验证算法在真实物理环境中的泛化能力与鲁棒性。
解决学术问题
该数据集有效解决了两项关键学术难题:一是为模仿学习提供大规模、多任务、多视角的高质量演示数据,弥补了机器人操作领域公开数据集在任务多样性与数据精细度上的不足;二是通过统一的数据格式和完整的动作序列标注,支持算法的公平对比与可重复性验证,推动了模仿学习、行为克隆及离线强化学习等方向的研究进展。其意义在于为构建通用机器人操作智能体提供了数据基础,促进了从单一任务学习向多任务泛化的范式转变,对机器人学与人工智能交叉领域具有重要影响。
实际应用
在实际应用中,该数据集可赋能工业自动化生产线上的装配、分拣与搬运作业,通过模仿学习使机器人快速适应新工序;也可用于服务机器人领域,如家庭环境中的物品整理或厨房任务,提升机器人的交互性与自主性。此外,其模型可迁移至遥操作或人机协作场景,辅助人类完成精密操作。凭借其标准化结构和丰富数据,该数据集为机器人制造商和AI创业公司提供了便捷的开发与测试工具,加速了智能机器人从实验室到市场的转化进程。
数据集最近研究
最新研究方向
该数据集聚焦于机器人操作技能学习的前沿方向,利用LeRobot框架采集了SO-101机械臂在三个任务上的300个演示回合,包含约17.3万帧高分辨率视觉与状态动作数据。当前研究热点在于模仿学习与强化学习的结合,通过大规模多任务演示数据训练通用操作策略,并探索视觉-运动控制协同的端到端学习范式。此数据集为评估多任务泛化能力、样本效率及跨任务迁移提供了标准化基准,对推动灵巧操作、自适应控制及人机协作等领域的智能化进步具有重要价值。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务