so100_v1_v2

这是一个关于机器人（specifically, LeRobot）的数据集，包含2个总的剧集，1796个总帧数，1个任务，4个视频和1个数据块。每个数据块的大小为1000，帧率为30fps。数据集被分为训练集。数据以Parquet文件格式存储，并且包含有关机器人动作、状态、视频信息和时间戳等特征。视频为AV1编码，没有音频。

This is a dataset focused on robots (specifically, LeRobot), which contains 2 total episodes, 1796 total frames, 1 task, 4 videos, and 1 data block. Each data block has a size of 1000 and a frame rate of 30fps. The dataset is partitioned into the training set. The data is stored in Parquet file format and includes features such as robot actions, states, video information, and timestamps. All videos are encoded in AV1 format and contain no audio.

原始信息汇总

数据集概述

基本信息

• 名称: so100_v1_v2
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot, so100, tutorial

数据集描述

• 创建工具: LeRobot
• 主页: 无
• 论文: 无
• 引用信息: 无

数据集结构

• 数据文件: data/*/*.parquet
• 元数据文件: meta/info.json

元数据详情

• 代码库版本: v2.0
• 机器人类型: so100
• 总集数: 2
• 总帧数: 1796
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割: 训练集 (0:2)

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. 动作 (action)

   • 数据类型: float32
   • 形状: [6]
   • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper

2. 观察状态 (observation.state)

   • 数据类型: float32
   • 形状: [6]
   • 名称: 同动作特征

3. 观察图像 (observation.images.laptop 和 observation.images.laptop2)

   • 数据类型: video
   • 形状: [480, 640, 3]
   • 名称: height, width, channels
   • 视频信息:
     • 帧率: 30.0
     • 分辨率: 480x640
     • 通道数: 3
     • 编解码器: av1
     • 像素格式: yuv420p
     • 非深度图
     • 无音频

4. 其他特征

   • timestamp: float32, 形状 [1]
   • frame_index: int64, 形状 [1]
   • episode_index: int64, 形状 [1]
   • index: int64, 形状 [1]
   • task_index: int64, 形状 [1]

搜集汇总

数据集介绍

构建方式

在机器人技术领域，so100_v1_v2数据集依托LeRobot框架构建，采用结构化数据采集方式。数据集包含2个完整情节，总计1796帧数据，以30帧每秒的速率记录，数据被分块存储于Parquet格式文件中。每个情节的动作和状态观测均以浮点型数组表示，涵盖机器人关节角度和夹爪状态，确保数据的一致性和可追溯性。

特点

该数据集的特点在于其多维观测结构，提供双视角图像数据（laptop和laptop2），分辨率为480x640，采用AV1编解码技术。动作和状态维度均为6自由度，精确映射机器人控制参数。数据集支持时间戳和帧索引，便于时序分析，且所有特征均以标准化格式存储，适用于机器人学习任务的端到端处理。

使用方法

使用该数据集时，可通过HuggingFace平台直接加载Parquet文件，利用LeRobot工具链进行数据解析。训练集涵盖全部情节，视频数据可通过指定路径访问。研究人员可结合动作-观测对进行模仿学习或强化学习实验，帧索引和时间戳支持精细的轨迹分析，适用于机器人控制算法的验证与优化。

背景与挑战

背景概述

在机器人技术迅猛发展的背景下，so100_v1_v2数据集作为LeRobot项目的重要组成部分，专注于机器人操作任务的实证研究。该数据集由HuggingFace社区基于开源框架构建，旨在通过记录机械臂的多模态交互数据，推动机器人学习算法的实际应用。其核心研究问题聚焦于如何有效整合视觉感知与运动控制，为机器人自主执行复杂任务提供可靠的数据支撑。尽管具体创建时间和主要研究人员信息尚未公开，但该数据集通过标准化数据格式和丰富的特征标注，显著提升了机器人模仿学习与强化学习研究的可复现性。

当前挑战

so100_v1_v2数据集致力于解决机器人操作任务中的动作规划与环境感知协同挑战，尤其在多视角视觉反馈与关节运动轨迹的映射关系建模方面存在难度。构建过程中面临多模态数据同步的技术瓶颈，需确保高帧率视频流与机械臂状态数据的精确对齐；同时，数据规模受限（仅包含2个任务片段和1796帧数据），难以覆盖现实场景的多样性。此外，机器人硬件差异导致的动作空间标准化问题，以及深度模型训练对大规模高质量数据的需求，均是当前亟待突破的难点。

常用场景

经典使用场景

在机器人学习领域，so100_v1_v2数据集为研究多视角视觉与机械臂控制提供了典型范例。该数据集通过记录六自由度机械臂的动作轨迹及双摄像头视觉数据，常用于训练模仿学习模型，使机器人能够复现人类演示的抓取或操作任务。其结构化数据格式支持端到端策略学习，为机器人行为克隆研究奠定了数据基础。

衍生相关工作

该数据集的发布催生了基于Transformer的机器人策略学习系列研究。相关工作中，研究者利用其多模态特性开发了视觉-动作预测模型，并衍生出针对机械臂操作的任务泛化算法。其标准化的Parquet存储格式与元数据结构，也为机器人学习数据集的构建规范提供了重要参考。

数据集最近研究

最新研究方向

在机器人学习领域，so100_v1_v2数据集作为LeRobot项目的重要组成部分，正推动模仿学习与多模态感知的前沿探索。该数据集通过记录六自由度机械臂的关节动作与双视角视觉观测，为机器人技能迁移研究提供了丰富的时空对齐数据。当前研究热点集中在利用此类真实世界交互数据训练端到端策略网络，结合视觉-动作映射的跨模态表示学习，旨在解决复杂环境中机器人操作的泛化能力挑战。随着具身智能研究的兴起，该数据集对促进机器人自主决策系统的实际部署具有重要参考价值。