so100_test07

该数据集是一个与机器人学相关的数据集，使用LeRobot创建。它包含了5个总剧集，2971个总帧数，10个视频和1个块。数据集的结构详细描述了包括行动、观察状态、空中图像和右侧跟随者图像等不同类型的数据。数据集遵循Apache-2.0许可。

原始信息汇总

数据集概述

基本信息

• 名称: juni3227/so100_test07
• 许可证: Apache-2.0
• 任务类别: 机器人学（Robotics）
• 标签: LeRobot, so100, tutorial

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 配置名称: default
• 数据文件: data//.parquet

元数据信息

• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 5
• 总帧数: 2971
• 总任务数: 1
• 总视频数: 10
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割:
  • 训练集: 0:5

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

1. 动作 (action)

   • 数据类型: float32
   • 形状: [6]
   • 名称:
     • main_shoulder_pan
     • main_shoulder_lift
     • main_elbow_flex
     • main_wrist_flex
     • main_wrist_roll
     • main_gripper

2. 观测状态 (observation.state)

   • 数据类型: float32
   • 形状: [6]
   • 名称: 同动作特征

3. 观测图像 - 空中视角 (observation.images.airial)

   • 数据类型: video
   • 形状: [480, 640, 3]
   • 名称: height, width, channels
   • 信息:
     • 视频帧率: 30.0
     • 视频高度: 480
     • 视频宽度: 640
     • 视频通道: 3
     • 视频编解码器: h264
     • 视频像素格式: yuv420p
     • 是否为深度图: false
     • 是否有音频: false

4. 观测图像 - 右跟随视角 (observation.images.right_follower)

   • 数据类型: video
   • 形状: [480, 640, 3]
   • 名称: height, width, channels
   • 信息: 同空中视角

5. 时间戳 (timestamp)

   • 数据类型: float32
   • 形状: [1]
   • 名称: null

6. 帧索引 (frame_index)

   • 数据类型: int64
   • 形状: [1]
   • 名称: null

7. 集索引 (episode_index)

   • 数据类型: int64
   • 形状: [1]
   • 名称: null

8. 索引 (index)

   • 数据类型: int64
   • 形状: [1]
   • 名称: null

9. 任务索引 (task_index)

   • 数据类型: int64
   • 形状: [1]
   • 名称: null

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot平台构建，专为机器人技术研究设计。通过记录so100型机器人在执行任务过程中的动作和状态数据，数据集以30fps的帧率捕获了2971帧数据，涵盖5个完整的工作周期。数据以分块形式存储，每个分块包含1000帧，采用Parquet格式高效保存多维时空数据，包括机械臂关节角度、夹爪状态及多视角视频流。

特点

数据集显著特点在于其多模态数据结构，同步记录了6自由度机械臂的控制指令、实时关节状态以及双视角视觉信息（空中视角和右侧跟随视角）。所有视频数据采用h264编码，分辨率达640x480，且附带精确的时间戳和帧索引。动作与状态数据采用float32精度存储，确保运动控制研究的精度需求，而统一的时序标注为时序分析提供了便利。

使用方法

使用者可通过解析Parquet文件获取结构化数据，配合配套的MP4视频文件进行多模态分析。数据集已预设训练集划分（0:5），适用于机器人模仿学习、动作预测等任务。加载时需注意数据路径模板中的分块编号和episode索引，视频文件需根据video_key区分视角，各字段的dtype和shape信息在meta/info.json中有明确定义。

背景与挑战

背景概述

so100_test07数据集作为机器人技术领域的重要资源，由LeRobot团队基于开源框架构建，旨在推动机器人控制与感知算法的研究。该数据集聚焦于SO100型机械臂的多模态数据采集，包含关节状态、视觉观测及控制指令等关键信息，为模仿学习与强化学习提供了丰富的训练样本。其采用Apache-2.0许可协议，通过30fps的高频采样和标准化数据结构，显著提升了机器人动作建模的精度与泛化能力。

当前挑战

该数据集面临的核心挑战在于多模态时序对齐的复杂性，需同步处理6自由度机械臂动作数据与双视角视觉流的高维特征。构建过程中需克服传感器异构性带来的标定难题，包括深度相机与关节编码器的时空校准。数据规模限制（仅含5个训练片段）可能影响深度模型的泛化性能，而缺乏详细的任务描述与基准测试方案，也为算法评估带来不确定性。

常用场景

经典使用场景

在机器人控制领域，so100_test07数据集为研究人员提供了丰富的机械臂运动数据和多视角视觉信息。该数据集记录了SO100型机械臂执行任务时的关节角度、末端执行器状态以及同步的空中和侧方视角视频，特别适用于研究机械臂运动规划与视觉伺服控制的协同问题。通过分析连续帧中的动作序列与视觉反馈，研究者能够深入理解高维连续控制空间中的动态特性。

解决学术问题

该数据集有效解决了机器人学中动作-感知耦合建模的难题。其包含的6自由度关节空间动作数据与双视角视觉观测，为建立从原始像素到低维动作的映射关系提供了基准。研究者可借此验证模仿学习算法的泛化能力，或探究基于视觉的强化学习在真实机械臂控制中的样本效率问题，填补了仿真环境与真实机器人平台间的数据鸿沟。

衍生相关工作

基于该数据集的特性，已催生出多项机器人学习领域的创新研究。有工作结合其时空对齐的多模态数据，提出了跨视角视觉特征融合的注意力机制；另有研究利用动作序列的连续性，开发了基于扩散模型的机械臂轨迹生成方法。这些衍生成果持续推动着具身智能在真实物理系统中的落地应用。