so100_test_twosugar2

该数据集是由LeRobot创建的，包含了5个剧集，每个剧集包含1000个数据块，总共2222帧。数据集专注于机器人任务，特别是类型为so100的机器人。数据集包含了多种特征，包括动作、状态、视频图像等，所有这些特征都是以float32或int64的数据类型存储的。

原始信息汇总

数据集概述

基本信息

• 名称: so100_test_twosugar2
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 标签: LeRobot
• 代码库版本: v2.1

数据集结构

• 数据文件格式: Parquet
• 数据文件路径: data/*/*.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
• 总任务数: 1
• 总视频数: 5
• 总帧数: 2222
• 总片段数: 1
• 片段大小: 1000
• 帧率 (FPS): 30
• 训练集分割: 0:5

特征描述

• 动作 (action)
  • 数据类型: float32
  • 形状: [6]
  • 名称:
    • main_shoulder_pan
    • main_shoulder_lift
    • main_elbow_flex
    • main_wrist_flex
    • main_wrist_roll
    • main_gripper
• 观测状态 (observation.state)
  • 数据类型: float32
  • 形状: [6]
  • 名称: 同动作特征
• 观测图像 (observation.images.laptop1)
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 名称: height, width, channels
  • 视频信息:
    • 帧率: 30.0
    • 高度: 480
    • 宽度: 640
    • 通道数: 3
    • 编解码器: h264
    • 像素格式: yuv420p
    • 是否为深度图: false
    • 是否包含音频: false
• 时间戳 (timestamp)
  • 数据类型: float32
  • 形状: [1]
• 帧索引 (frame_index)
  • 数据类型: int64
  • 形状: [1]
• 片段索引 (episode_index)
  • 数据类型: int64
  • 形状: [1]
• 索引 (index)
  • 数据类型: int64
  • 形状: [1]
• 任务索引 (task_index)
  • 数据类型: int64
  • 形状: [1]

搜集汇总

数据集介绍

构建方式

该数据集由LeRobot框架构建，专注于机器人技术领域的数据采集与分析。通过记录机械臂的关节角度、夹持器状态以及视觉信息，数据集以30帧每秒的速率捕获了5个完整操作序列，共计2222帧数据。数据以Parquet格式存储，每个操作序列被划分为若干数据块，确保高效存储与访问。

特点

数据集包含了机械臂的六维动作空间和状态空间数据，以及来自笔记本电脑摄像头的480x640分辨率RGB视频流。动作和状态数据均以float32格式存储，视频数据则采用h264编码。特别值得注意的是，数据集提供了精确的时间戳和帧索引，便于时序分析和动作对齐研究。

使用方法

研究人员可通过加载Parquet文件获取结构化数据，视频数据则存储在指定路径下。数据集已预分为训练集，包含全部5个操作序列。使用时应结合动作、状态和视觉数据进行多模态分析，时间戳信息可用于精确的动作序列重建。建议配合LeRobot框架进行机器人控制算法的开发与验证。

背景与挑战

背景概述

so100_test_twosugar2数据集由HuggingFace旗下的LeRobot项目团队构建，专注于机器人技术领域的研究与应用。该数据集通过记录机械臂的关节角度、抓取器状态以及视觉观测等多模态数据，为机器人控制算法的开发与验证提供了重要资源。数据集采用Apache-2.0开源协议，包含5个完整任务片段，共计2222帧30fps的同步视频与状态数据，其结构化存储格式为机器人学习研究提供了标准化基准。

当前挑战

该数据集面临的核心挑战在于多模态时序数据的精确对齐与标注。机械臂的六自由度动作数据需与480p视觉观测实现毫秒级同步，这对传感器校准与时间戳处理提出极高要求。在构建过程中，数据采集系统需克服机械振动导致的图像模糊、关节角度传感器噪声等工程难题。此外，有限的样本规模（仅5个任务片段）可能制约深度强化学习等数据驱动方法的性能上限。

常用场景

经典使用场景

在机器人控制领域，so100_test_twosugar2数据集为研究多关节机械臂的运动规划与控制提供了丰富的实验数据。该数据集记录了机械臂在特定任务中的关节角度、末端执行器状态以及视觉反馈，为算法开发人员提供了真实的动态环境模拟。研究人员可以基于这些数据训练强化学习模型，优化机械臂的轨迹规划和抓取策略。

解决学术问题

该数据集有效解决了机器人学中高维连续动作空间的策略优化难题。通过提供精确的关节状态反馈和同步视觉数据，研究者能够深入分析机械臂在复杂任务中的动态行为。数据集中的多模态信息为跨模态表征学习、状态估计和动作预测等关键问题提供了验证平台，推动了机器人自主决策系统的理论发展。

衍生相关工作

该数据集已催生多项机器人学习领域的创新研究，包括基于深度强化学习的关节空间轨迹生成算法、多传感器融合的状态估计框架等。部分工作进一步扩展了数据应用边界，开发出适用于不同机械臂架构的迁移学习方法，为开源机器人社区贡献了可复用的技术方案。