HyeonseokE/SO101-teleop_sort_blocks_20epi

该数据集是一个机器人控制数据集，使用LeRobot框架创建，专为机器人任务设计。数据集包含20个总集数，共18862帧数据，采样率为30帧每秒。机器人类型为“so_follower”，涉及一个总任务。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB。特征包括动作（如肩部、肘部、腕部和夹爪的位置）、观察状态（与动作类似的位置信息）、以及来自腕部和顶部摄像头的图像观察（视频格式，分辨率为480x640，3通道）。其他特征包括时间戳、帧索引、集索引、索引和任务索引。数据集结构支持训练分割（0:20），并遵循Apache 2.0许可证。license: apache-2.0 task_categories: - 机器人学 tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)开发。 <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=HyeonseokE/SO101-teleop_sort_blocks_20epi"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## 数据集说明 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 `meta/info.json`: json { "代码库版本": "v3.0", "机器人类型": "so_follower", "总回合数": 20, "总帧数": 18862, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率": 30, "数据集划分": { "训练集": "0:20" }, "数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "动作": { "数据类型": "float32", "关节名称": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "维度": [ 6 ] }, "观测状态": { "数据类型": "float32", "关节名称": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "维度": [ 6 ] }, "腕部图像": { "数据类型": "video", "维度": [ 480, 640, 3 ], "维度名称": [ "height", "width", "channels" ], "详细信息": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "video.has_audio": false } }, "顶部相机图像": { "数据类型": "video", "维度": [ 480, 640, 3 ], "维度名称": [ "height", "width", "channels" ], "详细信息": { "video.height": 480, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "video.has_audio": false } }, "时间戳": { "数据类型": "float32", "维度": [ 1 ], "维度名称": null }, "帧索引": { "数据类型": "int64", "维度": [ 1 ], "维度名称": null }, "回合索引": { "数据类型": "int64", "维度": [ 1 ], "维度名称": null }, "全局索引": { "数据类型": "int64", "维度": [ 1 ], "维度名称": null }, "任务索引": { "数据类型": "int64", "维度": [ 1 ], "维度名称": null } } } ## 引用 **BibTeX：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，模仿学习依赖于高质量的人类演示数据。SO101-teleop_sort_blocks_20epi数据集正是基于LeRobot框架构建，通过遥操作（Teleoperation）方式采集SO-100机械臂在分类积木任务中的运动轨迹。数据集包含20个专家演示片段，总计18862帧，以30帧/秒的速率记录。每个片段涵盖六维关节角度信息（肩部旋转、肘部弯曲等）及末端执行器位置，并同时捕获腕部与顶置两个视角的640×480 RGB视频流，以H.264编码存储。数据被分割为100 MB大小的块，便于分布式访问与训练。

特点

该数据集的核心特点在于其多模态融合与精细化的注释结构。每个时间步均对齐了机器人关节状态（observation.state）、动作指令（action）与同步视觉观测，支持端到端策略学习。通过完整的动作与状态空间（6维），数据集实现了对SO-100自由度机械臂在积木排列任务中的精准刻画。此外，双摄像头视角（腕部与顶部）提供了局部与全局的环境感知能力，有助于模型理解空间关系与操作细节。数据集共20个片段，专注于单一积木分类任务，保证了任务场景的高度一致性，便于算法性能的对比评估。

使用方法

使用该数据集时，可通过HuggingFace的LeRobot库直接加载与可视化。数据集以Parquet格式存储时序数据，并支持通过index、episode_index等列进行帧级或片段级索引。利用LeRobot的DataModule，研究者可轻松构建PyTorch DataLoader，实现批量采样与增强。视频数据与状态数据在训练时可按时间戳同步，适用于基于行为克隆或隐式策略的模仿学习算法。推荐的训练方式是首先将20个片段全部作为训练集使用，通过观察图像与关节状态预测未来动作，从而实现机械臂积木分类技能的复现与泛化。

背景与挑战

背景概述

SO101-teleop_sort_blocks_20epi数据集由Hyeonseok E等人基于LeRobot框架创建，专注于机器人遥操作任务中的物体分拣场景。该数据集于近期发布，旨在解决机器人操作技能学习中的样本效率与泛化难题。通过记录20个演示回合的遥操作数据，包含18862帧高分辨率视觉观测与六自由度关节状态信息，为模仿学习与强化学习提供了精细的基准数据。其开源特性与标准化格式（Apache-2.0许可）促进了机器人学习社区的可复现研究，尤其在非结构化环境中操作策略的迁移学习领域具有示范价值。该数据集的发布填补了小型化、高保真遥操作数据资源的空白，推动了具身智能从仿真到真实部署的桥梁搭建。

当前挑战

当前核心挑战集中于领域问题中的样本复杂度：仅20回合演示数据难以覆盖物体排列多样性，导致策略在未见过布局下的泛化能力受限。遥操作过程中存在手眼协调延迟与人类演示次优性，噪声动作影响模型稳定性。构建时面临高精度力矩传感与视觉对齐的硬件瓶颈，6维动作空间到实际物理效应的映射存在非线性误差。此外，单任务设定（分拣积木）无法支撑元学习对多任务适应性的验证需求，数据量级与场景复杂度间的平衡仍是制约机器人自主学习效率的关键矛盾。

常用场景

经典使用场景

在机器人学习领域，SO101-teleop_sort_blocks_20epi数据集为基于遥操作示教的模仿学习提供了高保真的训练素材。该数据集包含20个演示片段，记录了机械臂完成积木分类任务的完整轨迹，涵盖关节角度与腕部、顶部双目视觉信息。研究者常利用此类多模态数据训练策略网络，通过行为克隆或逆强化学习方法，使机器人从专家演示中习得精细操作技能，尤其适用于抓取、放置与排序等结构化任务场景。

解决学术问题

该数据集有效解决了机器人操作学习中的样本效率与泛化性矛盾。传统强化学习在稀疏奖励任务中面临探索困境，而SO101通过提供高质量专家轨迹，使模型在小样本条件下收敛至有效策略。它推动了从原始视觉输入到低维运动控制的端到端学习范式发展，显著降低了机器人技能获取对人工编程的依赖，为研究数据驱动的灵巧操作理论奠定了实验基础。

衍生相关工作

围绕此数据集衍生出多项经典研究，如结合Transformer架构的动作分块(ACT)方法，通过预测长时序动作序列提升任务连贯性；扩散策略(Diffusion Policy)则利用去噪生成模型建模多模态轨迹分布，增强动作鲁棒性。此外，基于该数据的视觉-语言-动作联合训练框架，通过自然语言指令泛化操作行为，为可交互机器人本体设计开辟了新的技术路径。