test-dataset-101

这是一个用于机器人任务的数据集，包含1个总的剧集，305帧，1个任务，2个视频和1个数据块。数据集以Parquet格式存储，并且提供了对应的视频文件。每个视频包含两个摄像头的图像数据，以及机器人的状态和动作信息。数据集的帧率为30fps，且不含音频。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot
• 创建工具: LeRobot

数据集结构

• 配置名称: default
• 数据文件: data//.parquet
• 代码库版本: v2.1
• 机器人类型: so100
• 总集数: 1
• 总帧数: 305
• 总任务数: 1
• 总视频数: 2
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (train): 0:1

数据路径

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

• observation.images.cam1:
  • 类型: 视频
  • 形状: [480, 640, 3]
  • 帧率: 30.0
  • 视频编码: av1
  • 像素格式: yuv420p
  • 深度图: 否
  • 音频: 无
• observation.images.cam2:
  • 类型: 视频
  • 形状: [480, 640, 3]
  • 帧率: 30.0
  • 视频编码: av1
  • 像素格式: yuv420p
  • 深度图: 否
  • 音频: 无
• observation.state:
  • 类型: float32
  • 形状: [6]
  • 名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper
• action:
  • 类型: float32
  • 形状: [6]
  • 名称: shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll, gripper
• timestamp:
  • 类型: float32
  • 形状: [1]
• frame_index:
  • 类型: int64
  • 形状: [1]
• episode_index:
  • 类型: int64
  • 形状: [1]
• task_index:
  • 类型: int64
  • 形状: [1]
• next.done:
  • 类型: bool
  • 形状: [1]
• index:
  • 类型: int64
  • 形状: [1]

引用信息

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为机器人技术研究设计。数据采集过程中采用了SO100型机器人，通过双摄像头系统捕捉480x640分辨率的视频流，帧率为30fps，并以AV1编码格式存储。机器人关节状态和动作数据以浮点型数值记录，包含6个自由度（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转和夹持器动作），所有数据按时间戳和帧索引严格对齐，确保时序一致性。数据集采用Apache 2.0许可协议发布，原始数据以Parquet格式分块存储，每块包含1000帧数据。

特点

数据集的核心价值在于其多模态特性，同步记录了视觉观测（双摄像头视频流）与机器人本体传感器数据。视频数据采用YUV420p像素格式，包含RGB三通道信息，且特别标注了非深度图属性。动作和状态数据采用具有明确语义命名的张量结构，如shoulder_pan等关节参数直接映射到机器人物理结构。数据组织遵循episode-chunk分段逻辑，支持高效流式读取，305帧样本覆盖完整任务周期，适合强化学习和模仿学习算法的训练与验证。

使用方法

使用该数据集时，可通过meta/info.json中的路径模板定位数据块和视频文件。训练集划分已预定义为全部数据，研究者可直接加载Parquet文件获取结构化张量。视频数据需配合帧索引信息与传感器数据对齐，机器人状态和动作张量可直接用于控制算法建模。建议采用LeRobot提供的专用工具链处理数据，特别注意30fps的时序特性要求算法处理时保持相同时间分辨率。对于多模态学习任务，可利用features字段中的维度标注实现传感器融合。

背景与挑战

背景概述

test-dataset-101数据集由LeRobot项目团队构建，专注于机器人技术领域的研究与应用。该数据集通过记录机器人执行任务时的多模态数据，包括双摄像头视频流、机械臂关节状态及动作指令，为机器人控制与行为学习提供了丰富的实验素材。数据集采用Apache-2.0开源协议，其技术框架基于LeRobot代码库v2.1版本，支持对SO100型机器人操作行为的细粒度分析。

当前挑战

该数据集面临的核心挑战体现在两方面：在领域问题层面，如何从异构传感器数据中有效提取跨模态关联特征，以解决机器人动作规划中的状态-动作映射难题；在构建过程中，需克服高频率视频数据与低维度控制信号的时序对齐问题，同时确保多通道数据在时间戳同步、存储格式统一等方面的技术一致性。

常用场景

经典使用场景

在机器人控制领域，test-dataset-101数据集通过记录机械臂的关节状态、视觉观测及控制指令，为强化学习算法的训练与验证提供了标准化的实验平台。该数据集特别适用于研究多模态感知与动作控制的协同优化问题，其包含的双摄像头视频流与六自由度机械臂状态数据，能够支持端到端策略学习的研究工作。

解决学术问题

该数据集有效解决了机器人控制研究中样本效率低下、真实世界数据获取成本高昂的难题。通过提供精确的时间同步多模态数据，研究者可深入探究视觉-动作映射关系、动态系统建模等核心问题。其标准化的数据格式显著降低了算法对比研究的门槛，对推动模仿学习、离线强化学习等领域的发展具有重要价值。

衍生相关工作

该数据集的发布催生了多项机器人学习领域的创新研究，包括基于跨模态注意力机制的控制策略生成、多视角视觉特征融合方法等。部分工作进一步扩展了数据集的边界，例如开发了基于该数据集的仿真环境，或将其与其他机器人数据集进行联合训练以提升模型泛化能力。