my_first_dataset

该数据集是一个机器人学任务的数据集，包含了一个名为so101_follower的机器人类型的数据。总共有2个剧集，900帧，1个任务。数据以Parquet格式存储，视频文件为MP4格式，帧率为30fps。数据集被划分为训练集。数据集的特征包括机器人的动作位置、观察状态、正面和上下文图像等信息。

原始信息汇总

数据集概述

基本信息

• 名称: my_first_dataset
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot

数据集规模

• 总任务数: 1
• 总回合数: 2
• 总帧数: 900
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 代码库版本: v3.0
• 机器人类型: so101_follower

数据结构

• 数据文件格式: Parquet
• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 分块大小: 1000
• 数据分割: 训练集包含所有2个回合

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测特征

状态观测

• 名称: observation.state
• 数据类型: float32
• 维度: [6]
• 关节名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

前视图像观测

• 名称: observation.images.front
• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图: false
• 无音频: true

上下文图像观测

• 名称: observation.images.context
• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图: false
• 无音频: true

元数据特征

• 时间戳: float32[1]
• 帧索引: int64[1]
• 回合索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

引用信息

• 主页: 待补充
• 论文: 待补充
• BibTeX引用: 待补充

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据采集的精确性对算法训练至关重要。该数据集采用LeRobot平台构建，通过so101_follower型机器人记录操作过程，包含2个完整任务片段，总计900帧数据。数据以分块形式存储于parquet文件中，每块容量为1000帧，同时配套视频文件以30fps帧率记录机器人视角，确保动作与观测数据的同步性。

使用方法

针对机器人模仿学习场景，研究者可通过解析parquet文件获取动作指令与状态观测的对应关系。视频数据与传感器读数的时间对齐特性便于构建端到端控制模型。数据集默认划分为训练集，使用者可依据帧索引重建完整任务轨迹，结合双视角视觉输入开发多模态决策系统，其标准化格式确保与主流机器人学习框架的兼容性。

背景与挑战

背景概述

机器人技术领域近年来在模仿学习方向取得显著进展，my_first_dataset作为基于LeRobot平台构建的机器人操作数据集，聚焦于机械臂动作轨迹与多模态感知的协同建模。该数据集通过记录六自由度机械臂的关节位置控制信号，同步采集双视角视觉观测数据，为机器人策略学习提供了包含900帧连续动作-状态序列的实景交互记录。其结构化存储格式与多源特征对齐机制，为端到端机器人控制算法验证建立了标准化评估基准。

当前挑战

在机器人操作任务泛化方面，数据集需解决高维动作空间与视觉观测的时序对齐难题，其六维连续控制指令与480p双路视频的同步精度直接影响策略学习效果。数据构建过程中面临多传感器时序标定、机械臂轨迹平滑度保障等技术瓶颈，且仅包含单任务2条轨迹的规模限制了对复杂场景的覆盖能力。Parquet格式与视频编码的混合存储方案虽提升读写效率，但增加了数据预处理流程的复杂性。

常用场景

经典使用场景

在机器人学习领域，该数据集通过整合多模态传感器数据与机械臂控制指令，为模仿学习算法提供了标准化的训练环境。其包含的关节位置状态与双视角视觉观测序列，能够有效支撑端到端策略网络的训练过程，使机器人能够从人类示范中学习复杂的操作技能。

解决学术问题

该数据集主要解决了机器人技能迁移中的状态表征学习难题，通过同步记录的动作序列与视觉上下文信息，为研究跨模态对齐、时序动作预测等核心问题提供了数据基础。其结构化存储格式显著降低了多传感器数据融合的研究门槛，推动了机器人感知-控制闭环系统的算法创新。

实际应用

在工业自动化场景中，该数据集可应用于装配线分拣任务的技能传授系统。基于示教数据的轨迹复现能力，使得协作机器人能够快速适应新产品线的操作流程，同时其多视角视觉记录为故障诊断与操作优化提供了可视化的分析依据。

数据集最近研究

最新研究方向

在机器人学习领域，my_first_dataset凭借其多模态特性正推动模仿学习与视觉运动控制的前沿探索。该数据集融合关节状态数据与双视角视觉流，为具身智能研究提供了真实交互场景下的时空对齐样本。当前研究聚焦于跨模态表征学习，通过端到端神经网络架构实现从视觉观察到连续动作的精确映射，显著提升了机械臂在动态环境中的任务泛化能力。随着开源机器人社区对标准化数据格式的推广，此类数据集正成为强化学习与行为克隆算法验证的关键基准，为家庭服务机器人的自主操作技能发展奠定数据基石。