so101-20260414

该数据集由LeRobot创建，专注于机器人技术领域，特别是bi_so_follower类型的机器人。数据集包含23个episodes，总计63090帧数据，全部用于训练。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集的主要内容包括动作数据（12个关节位置）和观察数据（状态信息和来自左腕、左顶部、右腕三个视角的图像）。视频数据的分辨率为480x640，帧率为30fps，使用av1编解码器。该数据集适用于机器人控制、行为学习等研究任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: so101-20260414
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 23
• 总帧数: 63090
• 总任务数: 1
• 数据块大小: 1000帧
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据分割: 全部数据（索引0至23）用于训练。
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

数据集包含以下特征：

动作

• 数据类型: float32
• 形状: [12]
• 描述: 双臂机器人的12个关节位置，具体包括：
  • 左肩平移、左肩抬升、左肘弯曲、左腕弯曲、左腕旋转、左夹爪
  • 右肩平移、右肩抬升、右肘弯曲、右腕弯曲、右腕旋转、右夹爪

观测状态

• 数据类型: float32
• 形状: [12]
• 描述: 与动作特征相同的12个关节位置。

观测图像

包含三个视角的视频流，每个视频流特征如下：

• 数据类型: video
• 形状: [480, 640, 3] (高度，宽度，通道)
• 通用视频信息:
  • 编码: av1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30
  • 通道数: 3
  • 无音频

具体视角:

1. observation.images.left_wrist: 左腕视角图像。
2. observation.images.left_top: 左上方视角图像。
3. observation.images.right_wrist: 右腕视角图像。

索引与元数据

• timestamp: 时间戳 (float32, shape [1])
• frame_index: 帧索引 (int64, shape [1])
• episode_index: 情节索引 (int64, shape [1])
• index: 索引 (int64, shape [1])
• task_index: 任务索引 (int64, shape [1])

可视化

• 可视化页面: https://huggingface.co/spaces/lerobot/visualize_dataset?path=nim0/so101-20260414

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX 引用格式: 未提供

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建方式直接影响其应用价值。so101-20260414数据集依托LeRobot平台生成，采用双机械臂跟随器（bi_so_follower）进行数据采集，共包含23个完整任务片段，总计63090帧数据。数据以分块形式存储，每块包含1000帧，并以Parquet格式组织，确保了高效的数据读取与处理。同时，数据集配套了多视角视频记录，帧率为30fps，采用AV1编码，为机器人动作学习提供了丰富的视觉上下文信息。

特点

该数据集在机器人操作任务中展现出鲜明的特点。其核心特征在于同步记录了高维动作指令与多源观测数据，动作空间涵盖左右机械臂各六个关节位置及夹爪状态，形成12维连续控制向量。观测部分则融合了关节状态感知与三路视觉输入，包括左腕、左顶和右腕摄像头采集的480x640分辨率RGB图像，构建了多模态感知体系。数据结构设计严谨，通过时间戳、帧索引和片段索引等元数据确保了时序对齐与轨迹完整性，为模仿学习与强化学习算法提供了标准化输入。

使用方法

针对机器人学习研究，该数据集的使用需遵循其结构化设计。数据可通过HuggingFace平台直接加载，利用LeRobot提供的工具链进行可视化与分析。研究者在处理时，可依据分块索引读取Parquet文件，并行访问动作序列与对应观测帧。多路视频流可通过指定路径独立解码，与状态数据在时间维度上精确匹配。数据集适用于训练端到端的策略模型，或用于行为克隆、逆强化学习等任务，其统一的数据范式有利于算法比较与复现，推动双臂协调操作技术的进展。

背景与挑战

背景概述

在机器人学习领域，高质量的真实世界交互数据对于推动模仿学习与强化学习算法的发展至关重要。so101-20260414数据集由Hugging Face的LeRobot项目团队于2024年创建，旨在为双臂仿人机器人（bi_so_follower）提供多模态交互记录。该数据集核心聚焦于机器人操作任务，通过整合关节状态、多视角视觉观测与动作指令，为研究者探索复杂环境下的机器人控制策略提供了实证基础。其结构化设计体现了当前机器人学习向大规模、高维度数据驱动范式转变的趋势，对提升机器人自主操作能力具有显著意义。

当前挑战

该数据集致力于解决机器人操作中的模仿学习与策略泛化问题，其挑战在于如何从高维异构观测中提取有效特征以生成精确动作序列。具体而言，多摄像头视觉流与关节状态数据的时空对齐、动作空间的连续控制精度、以及有限任务场景下的策略迁移能力，均是算法设计面临的核心难点。在构建过程中，数据采集需协调多传感器同步与校准，确保视频流与状态信息的一致性；同时，大规模视频数据的压缩存储与高效读取亦对工程实现提出了较高要求，这些挑战共同制约着数据集在复杂机器人学习任务中的直接应用效能。

常用场景

经典使用场景

在机器人学习领域，多模态数据集对于推动模仿学习与强化学习算法的进展至关重要。so101-20260414数据集以其丰富的双手机械臂操作记录，成为训练机器人执行复杂抓取与操控任务的经典资源。该数据集通过记录机械臂关节位置、夹爪状态以及多视角视觉信息，为研究者提供了从原始传感器输入到动作输出的完整映射，使得算法能够学习在真实世界环境中进行精细操作。

解决学术问题

该数据集有效应对了机器人学中样本效率低下与仿真到现实迁移的挑战。通过提供大量真实世界的交互数据，它支持数据驱动的策略学习，减少了在物理平台上进行昂贵试错的需求。其结构化的状态-动作对与同步的多视角视频，为解决高维观察空间下的策略表征、多任务学习以及跨模态对齐等核心学术问题提供了实证基础，加速了端到端机器人控制模型的开发。

衍生相关工作

围绕此类机器人操作数据集，已催生了一系列经典研究工作。例如，基于类似多模态数据集的视觉模仿学习框架，如行为克隆与逆强化学习的改进算法。此外，它也支撑了用于机器人策略学习的扩散模型与Transformer架构的探索。这些工作共同推动了以数据为中心的研究范式，使得从大规模真实交互数据中提取通用技能成为可能。