3

这是一个关于机器人学的数据集，包含了机器人的动作、状态、前后视角视频等信息，总共有1个剧集，24帧，1个任务，2个视频，1个块，块大小为1000，帧率为30。数据集根据Apache-2.0许可发布。

原始信息汇总

数据集概述

基本信息

• 名称: Thuongg2907/3
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集描述

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 主页: 未提供
• 论文: 未提供

数据集结构

• 数据文件: data//.parquet
• 总任务数: 1
• 总视频数: 2
• 总帧数: 24
• 总片段数: 1
• 片段大小: 1000
• 帧率: 30 fps
• 分割: 训练集 (0:1)
• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征结构

动作特征

• 名称: action
• 数据类型: float32
• 形状: [6]
• 维度名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 形状: [6]
• 维度名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

前视图像观测

• 名称: observation.images.front
• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称:
  • height
  • width
  • channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

侧视图像观测

• 名称: observation.images.side
• 数据类型: video
• 形状: [480, 640, 3]
• 维度名称:
  • height
  • width
  • channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

元数据特征

• 时间戳: float32, 形状 [1]
• 帧索引: int64, 形状 [1]
• 片段索引: int64, 形状 [1]
• 索引: int64, 形状 [1]
• 任务索引: int64, 形状 [1]

技术信息

• 代码库版本: v2.1
• 机器人类型: so100_follower

引用信息

• BibTeX: 未提供

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建往往依赖于真实环境中的交互记录。该数据集通过LeRobot平台采集，采用Apache 2.0开源协议，数据以分块Parquet格式存储，包含1个完整任务片段，总计24帧图像数据，采样频率为30fps。其构建过程整合了多模态传感器信息，涵盖机械臂关节状态与双视角视觉输入，确保了数据在时空维度上的连贯性与完整性。

特点

作为面向机器人控制研究的专用数据集，其突出特点在于多维度的结构化标注。数据集包含6自由度机械臂的动作指令与状态反馈，同步提供前视与侧视双路高清视频流，分辨率达640x480，采用AV1编码压缩。所有数据均带有精确的时间戳与帧索引，支持端到端的模仿学习与强化学习任务，兼具轻量化存储与高可解析性的优势。

使用方法

研究者可通过HuggingFace平台直接加载该数据集，利用标准Parquet解析工具读取数据块。每个数据样本包含动作向量、关节状态、图像帧及元数据索引，支持按任务片段或时间帧进行切片访问。双路视频数据可通过配套路径规则还原为视频序列，适用于行为克隆、动态建模等机器人学习任务的训练与验证，兼容主流深度学习框架。

背景与挑战

背景概述

机器人学习领域近年来在模仿学习与强化学习融合方面取得显著进展，3数据集作为LeRobot项目的重要组成部分，专注于机械臂控制任务的示范数据收集。该数据集采用so100_follower机器人平台，通过多模态传感器记录包括关节位置、视觉观测和时序信息在内的完整交互数据，为机器人策略学习提供高质量的训练样本。其结构化数据存储格式和标准化特征定义体现了现代机器人学习数据集设计的工程化思维，旨在推动端到端机器人控制方法的发展。

当前挑战

该数据集致力于解决机械臂精细操作任务中的模仿学习挑战，包括高维连续动作空间的策略泛化问题以及多模态传感器数据的时空对齐难题。在构建过程中面临多路高清视频流同步存储的技术瓶颈，需要确保视觉数据与关节状态数据的时间戳精确匹配。同时，机械臂控制指令的平滑性与安全性约束增加了数据采集的复杂性，要求在保证操作精度的同时维持数据采集过程的稳定性与可重复性。

常用场景

经典使用场景

在机器人学习领域，该数据集通过记录六自由度机械臂的关节位置状态与多视角视觉观测，为模仿学习算法提供了标准化的训练范例。研究者可基于其时空对齐的多模态数据流，构建从视觉感知到动作执行的端到端策略映射模型，特别适用于动态环境下的机械臂抓取与轨迹规划任务。

解决学术问题

该数据集有效解决了机器人控制中高维状态动作空间的表征学习难题，通过提供精确的时间戳与帧索引同步机制，支持长期依赖关系的建模研究。其结构化数据格式显著降低了多传感器融合算法的实现复杂度，为机器人操作技能的可迁移性与泛化性研究提供了基准验证平台。

衍生相关工作

该数据集催生了基于时空注意力机制的模仿学习框架，其多模态特征提取方案被广泛应用于具身智能研究。后续工作基于其标准化数据格式开发了分布式强化学习训练管道，相关成果推动了机器人操作技能的大规模预训练模型发展，为跨任务策略迁移提供了重要技术基础。