so100_all

该数据集由LeRobot项目创建，主要用于机器人技术领域。数据集采用Apache-2.0许可证，包含928个episodes和707539帧数据，总数据量为100MB，视频文件大小为200MB。数据以parquet文件格式存储，视频帧率为30fps。数据集包含多个特征，如动作（action）和观察状态（observation.state），均为float32类型，形状为[6]。观察图像包括顶部（top）和手部（hand）两个视角，均为视频格式，分辨率为480x640，3通道，使用h264编解码器。数据集还包含时间戳、帧索引、episode索引等辅助信息。适用于机器人控制、行为学习等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: zzzlamb/so100_all
• 创建工具: 使用 LeRobot 创建。
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 928
• 总帧数: 707539
• 总任务数: 1
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 分块大小: 1000
• 数据分割: 全部数据（0:928）用于训练。
• 代码库版本: v3.0
• 机器人类型: so_follower

数据文件路径

• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

数据集包含以下特征：

动作

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测图像（顶部摄像头）

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: h264
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

观测图像（手部摄像头）

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: h264
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 是否包含音频: false

元数据

• 时间戳: 数据类型为 float32，形状为 [1]。
• 帧索引: 数据类型为 int64，形状为 [1]。
• 情节索引: 数据类型为 int64，形状为 [1]。
• 索引: 数据类型为 int64，形状为 [1]。
• 任务索引: 数据类型为 int64，形状为 [1]。

可视化

可通过以下链接可视化数据集：https://huggingface.co/spaces/lerobot/visualize_dataset?path=zzzlamb/so100_all

引用信息

• 主页: 信息缺失
• 论文: 信息缺失
• BibTeX 引用: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人操作领域，数据集的构建通常依赖于真实世界的交互记录。so100_all数据集借助LeRobot平台，通过采集机器人执行任务过程中的多模态数据而形成。具体而言，该数据集包含了928个完整任务片段，总计超过70万帧数据，以30帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每块约含1000帧，确保了高效的数据管理与访问。视频数据则采用H.264编码的MP4格式保存，分别从顶部视角和机械手视角捕捉480x640分辨率的RGB图像，同步记录机器人的关节位置与夹爪状态，构建了一个连贯且结构化的机器人操作数据集。

使用方法

使用so100_all数据集时，研究者可依据其结构化路径直接访问数据文件。数据集已预分为训练集，包含全部928个片段，用户可通过加载Parquet文件获取动作、观测状态及时间戳等特征，并配合MP4视频文件进行视觉分析。在机器人学习任务中，该数据集适用于行为克隆、强化学习或视觉运动策略训练等场景。借助LeRobot提供的可视化工具，用户能够直观浏览数据内容，而数据的分块存储机制也支持高效的大规模数据处理与模型训练流程。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需大规模、高质量的真实世界交互数据集作为支撑。so100_all数据集由LeRobot项目团队构建，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集聚焦于机械臂跟随任务，收录了928个完整交互片段，总计超过70万帧数据，包含关节状态、视觉观测与动作指令等多种信息。其核心研究问题在于如何通过海量真实交互数据，提升机器人对复杂动态环境的感知与决策能力，从而推动具身智能在现实场景中的泛化与应用。

当前挑战

该数据集致力于解决机器人模仿学习中动作序列生成与环境状态理解的挑战，其核心问题在于如何从高维视觉与状态观测中，精准预测连续且稳定的机械臂控制指令。构建过程中面临多重困难：首先，真实机器人数据采集需协调硬件同步与传感器校准，确保多模态数据在时间上严格对齐；其次，大规模交互数据的存储与处理对计算资源提出极高要求，视频流与状态数据的压缩与索引策略成为关键；最后，数据标注与质量控制的自动化流程尚不完善，噪声与异常样本的剔除仍需依赖人工干预，影响了数据集的纯净度与可靠性。

常用场景

经典使用场景

在机器人学习领域，so100_all数据集以其丰富的多模态交互记录，为模仿学习算法的训练与验证提供了经典范例。该数据集整合了机械臂的关节状态、视觉观测与动作指令，使得研究者能够基于真实世界数据构建端到端的控制策略。通过928个完整交互片段与超过70万帧的视觉数据，它支持从原始感知到动作生成的完整流程建模，尤其在基于视觉的机器人操作任务中，成为评估算法泛化能力与鲁棒性的重要基准。

解决学术问题

该数据集有效应对了机器人模仿学习中数据稀缺与多模态对齐的学术挑战。它提供了高维连续动作空间与同步视觉观测的精确对应，解决了传统方法中因仿真与现实差距导致的策略迁移困难。通过涵盖肩部、肘部、腕部及夹爪的六自由度控制数据，so100_all支持对复杂动力学系统的建模研究，促进了从监督学习到强化学习范式的过渡，为具身智能的感知-动作一体化研究奠定了数据基础。

实际应用

在实际机器人部署场景中，so100_all数据集能够直接指导服务型或工业型机械臂的自主操作技能学习。例如在物流分拣、家庭物品整理等任务中，基于该数据训练的模型可实现对未知物体的抓取与放置。其双视角视觉系统（顶部与手部相机）模拟了真实工作环境的多角度感知需求，使得算法能够适应光照变化与遮挡干扰，提升在非结构化环境中的操作成功率与安全性。

数据集最近研究

最新研究方向

在机器人学习领域，so100_all数据集凭借其丰富的多模态交互数据，正成为推动模仿学习与强化学习融合研究的关键资源。该数据集包含大量机械臂操作任务的高频视频与状态动作序列，为视觉-动作映射模型的训练提供了坚实基础。当前前沿研究聚焦于利用此类数据开发端到端的策略网络，旨在直接从视觉输入中生成精确的控制指令，从而提升机器人在复杂环境中的自主操作能力。随着具身智能与通用机器人技术的兴起，so100_all所代表的大规模真实世界数据集，正加速跨任务泛化与少样本学习方法的探索，对实现灵活、可适应的机器人系统具有深远影响。