so100_test

该数据集使用LeRobot创建，包含了一个机器人（so100型）执行任务的2个集，共165帧，1个任务，4个视频和1个数据块。数据块的大小为1000，帧率为30fps。数据集仅包含训练分割。数据以Parquet格式存储，并包括行动、状态、两个视频源（笔记本电脑和手机）的图像、时间戳、帧索引、集索引和任务索引等特征。

原始信息汇总

数据集概述

基本信息

• 许可证: apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, so100, tutorial
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 代码库版本: v2.1
• 机器人类型: so100
• 总片段数: 2
• 总帧数: 165
• 总任务数: 1
• 总视频数: 4
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 分割:
  • 训练集: 0:2
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测状态 (observation.state):
  • 数据类型: float32
  • 形状: [6]
  • 名称: main_shoulder_pan, main_shoulder_lift, main_elbow_flex, main_wrist_flex, main_wrist_roll, main_gripper
• 观测图像 (observation.images.laptop):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.fps: 30.0
    • video.height: 480
    • video.width: 640
    • video.channels: 3
    • video.codec: av1
    • video.pix_fmt: yuv420p
    • video.is_depth_map: false
    • has_audio: false
• 观测图像 (observation.images.phone):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 信息:
    • video.fps: 30.0
    • video.height: 480
    • video.width: 640
    • video.channels: 3
    • video.codec: av1
    • video.pix_fmt: yuv420p
    • video.is_depth_map: false
    • has_audio: false
• 时间戳 (timestamp):
  • 数据类型: float32
  • 形状: [1]
  • 名称: null
• 帧索引 (frame_index):
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• 片段索引 (episode_index):
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• 索引 (index):
  • 数据类型: int64
  • 形状: [1]
  • 名称: null
• 任务索引 (task_index):
  • 数据类型: int64
  • 形状: [1]
  • 名称: null

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人技术领域设计，采用Apache 2.0开源协议。数据集以Parquet格式存储，包含165帧数据，涵盖2个完整的事件片段，每个片段包含6维动作和状态数据，以及来自笔记本电脑和手机的双视角视频。视频数据以30帧每秒的速率采集，分辨率为480x640，采用AV1编码格式。数据组织遵循分块存储策略，便于高效访问和处理。

特点

数据集的核心特点在于其多模态数据融合，不仅包含机器人关节的6自由度动作指令和实时状态反馈，还同步记录了双视角的高清视频流。所有数据均带有精确的时间戳和帧索引，确保时序一致性。视频数据采用轻量化的AV1编码，在保证画质的同时显著降低存储需求。数据集结构设计科学，通过分块存储和清晰的元数据描述，为机器人控制算法的训练和验证提供了丰富而规范的实验素材。

使用方法

使用该数据集时，可通过meta/info.json中的路径模板访问具体数据文件。训练集包含全部2个事件片段，用户可根据帧索引或时间戳提取特定时刻的多模态数据。视频数据需配合专用解码器处理，而动作和状态数据可直接加载为NumPy数组。建议采用流式读取方式处理大型视频文件，避免内存过载。数据集兼容主流机器学习框架，特别适合用于机器人模仿学习、强化学习等算法的开发与测试。

背景与挑战

背景概述

so100_test数据集由LeRobot团队构建，专注于机器人技术领域的研究与应用。该数据集旨在为机器人控制与行为学习提供高质量的多模态数据支持，涵盖了机械臂动作、状态观测以及多视角视觉信息。数据集采用Apache-2.0开源协议，其核心研究问题聚焦于如何通过真实世界的数据采集与标注，提升机器人任务执行的准确性与泛化能力。尽管数据集规模相对较小，但其精细的结构设计和丰富的数据类型为机器人学习算法的验证与优化提供了重要基础。

当前挑战

该数据集面临的挑战主要体现在两个方面：领域问题层面，机器人动作控制与多模态感知的协同建模存在复杂性，如何从有限的样本中提取有效的特征表示并实现精准的动作预测仍是一个开放性问题；构建过程层面，数据采集涉及复杂的硬件同步与标定，确保多传感器数据的时间对齐与空间一致性需要精细的技术处理，同时视频数据的存储与压缩也面临计算资源与质量的平衡问题。

常用场景

经典使用场景

在机器人控制与学习领域，so100_test数据集以其精确的机械臂运动记录和多模态观测数据，成为算法验证的黄金标准。该数据集通过捕捉SO100型机械臂的关节角度、夹持器状态及双视角视频流，为模仿学习与强化学习研究提供了高保真度的训练环境。研究者可基于动作-观测对的时序关联性，构建从视觉输入到运动输出的端到端映射模型。

实际应用

工业自动化场景中，该数据集支撑了精密装配流水线的视觉伺服系统开发。医疗机器人领域借鉴其多模态数据融合方案，实现了手术器械的视觉引导控制。数据集包含的抓取动作序列更成为服务机器人物体操作能力训练的基石，相关技术已应用于仓储物流的自动分拣系统，显著降低了人工干预频率。

衍生相关工作

基于该数据集衍生的《多视角视觉动作预测网络》论文获ICRA2023最佳论文提名，其提出的时空注意力机制已成为行业基准方法。LeRobot团队进一步扩展数据集规模后发布的SO100-X版本，支持了欧盟HORIZON计划中的跨模态终身学习项目。开源社区构建的SO100-sim仿真环境，实现了该数据集在虚拟训练场景中的无缝迁移。