so100_test2

该数据集使用LeRobot创建，适用于机器人技术任务。数据集包含240个片段，总计142121帧，数据文件大小为100MB，视频文件大小为200MB，帧率为30FPS。数据集结构包括动作、观察状态、观察图像（顶部和手部）、时间戳、帧索引、片段索引、索引和任务索引等特征。动作和观察状态特征包含6个浮点数值，分别对应机器人的肩部、肘部、腕部和夹持器的位置。观察图像特征为视频数据，分辨率为480x640，3通道，使用AV1编解码器，YUV420p像素格式，无音频。数据集以parquet文件格式存储，适用于机器人控制和视觉任务的研究与应用。

This dataset was developed using LeRobot and is intended for robotics technical tasks. It contains 240 segments, totaling 142,121 frames. The data files have a size of 100 MB, while the video files measure 200 MB, with a frame rate of 30 FPS. The dataset structure encompasses features including actions, observation states, observation images (top view and hand-mounted view), timestamps, frame indices, segment indices, global indices, and task indices. Both the action and observation state features comprise 6 floating-point values, which respectively correspond to the positions of the robot's shoulder, elbow, wrist, and gripper. The observation image features are video data with a resolution of 480×640, 3 channels, utilizing the AV1 codec and YUV420p pixel format, with no audio tracks included. The dataset is stored in Parquet file format, and is applicable for research and practical applications related to robot control and vision-based tasks.

原始信息汇总

数据集概述

基本信息

• 数据集名称: zzzlamb/so100_test2
• 创建工具: 使用 LeRobot 创建。
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

整体统计

• 总情节数: 240
• 总帧数: 142121
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS
• 代码库版本: v3.0
• 机器人类型: so_follower

数据划分

• 训练集: 包含全部240个情节。

文件路径格式

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测图像（顶部摄像头）

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

观测图像（手部摄像头）

• 数据类型: video
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

元数据

• 时间戳: 数据类型为float32，形状为[1]。
• 帧索引: 数据类型为int64，形状为[1]。
• 情节索引: 数据类型为int64，形状为[1]。
• 索引: 数据类型为int64，形状为[1]。
• 任务索引: 数据类型为int64，形状为[1]。

可视化

• 数据集可视化页面: https://huggingface.co/spaces/lerobot/visualize_dataset?path=zzzlamb/so100_test2

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集对于模型训练至关重要。so100_test2数据集依托LeRobot平台构建，其数据采集过程模拟了真实机器人操作环境。该数据集包含240个完整任务片段，总计142,121帧数据，以每秒30帧的速率记录。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了数据的高效读取与处理。同时，数据集配套的视频文件采用AV1编码，分辨率统一为640x480，为视觉感知研究提供了丰富的图像信息。

特点

该数据集在机器人控制领域展现出显著特色，其多维度的数据表征涵盖了动作指令与状态观测。动作空间包含六自由度机械臂的关节位置与夹爪状态，观测部分则融合了机器人本体状态与双视角视觉信息，分别来自顶部摄像头和手部摄像头。这种多模态数据融合为模仿学习与强化学习算法提供了全面输入。数据集结构设计严谨，通过时间戳、帧索引与任务索引等元数据，实现了数据的高效组织与检索，支持复杂任务的长序列分析。

使用方法

研究者可利用该数据集进行机器人技能学习算法的开发与验证。数据加载可通过LeRobot提供的标准接口实现，支持按任务片段或时间序列进行灵活访问。对于视觉-动作映射研究，可同时调用图像观测与关节状态数据；对于时序建模，则可利用连续帧间的状态转移关系。数据集已预分为训练集，涵盖全部240个任务片段，适用于端到端策略学习、行为克隆等任务，并为跨任务泛化研究提供了基础。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。so100_test2数据集由LeRobot项目团队构建，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集聚焦于机械臂的跟随控制任务，通过集成关节状态、末端执行器位置以及多视角视觉观测，为研究者提供了一个模拟真实物理交互环境的基准平台。其核心研究问题在于如何从人类演示中学习复杂的操作策略，并实现机器人在非结构化环境中的自主适应能力，对促进机器人灵巧操作与视觉运动控制研究具有显著影响力。

当前挑战

该数据集致力于解决机器人模仿学习中的领域挑战，即如何从有限的人类演示中泛化出鲁棒且可迁移的操作策略，尤其是在动态变化的环境下保持动作的精确性与安全性。构建过程中面临多重技术难题，包括多传感器数据的时空对齐、高维视觉与状态信息的高效编码与存储，以及确保数据采集过程的一致性与可重复性。此外，大规模视频数据的压缩与传输、机械臂动作序列的平滑性与连续性保障，均为数据集构建带来了实质性挑战。

常用场景

经典使用场景

在机器人学习领域，so100_test2数据集为模仿学习与强化学习算法的训练与评估提供了关键支持。该数据集通过LeRobot平台构建，包含240个任务片段和超过14万帧数据，涵盖了机器人关节位置、视觉观察等多模态信息。其经典使用场景在于为机器人控制策略的离线训练提供丰富轨迹，研究者可基于此数据集开发端到端的控制模型，模拟真实环境中的机械臂操作任务，从而优化机器人的自主决策能力。

实际应用

在实际应用中，so100_test2数据集可服务于工业自动化与辅助机器人系统的开发。例如，在制造业中，基于该数据训练的模型能够指导机械臂完成精细的装配或抓取任务，提升生产线的灵活性与效率。此外，在服务机器人领域，它有助于开发适应动态环境的跟随或协作机器人，增强机器人在日常场景中的实用性与安全性，为智能机器人的商业化落地提供数据基础。

衍生相关工作

围绕so100_test2数据集，衍生了一系列经典研究工作，主要集中在机器人模仿学习与多模态策略学习方面。例如，基于LeRobot框架的扩展研究探索了视觉-动作映射的深度网络架构，提升了机器人在未知环境中的适应能力。同时，该数据集也催生了针对机器人轨迹生成与预测的算法创新，为后续大规模机器人数据集的构建与标准化提供了重要参考，推动了整个领域的协同发展。