my-dataset-test-v4

该数据集是使用LeRobot创建的，专为机器人学相关任务设计。数据集包含24个episodes，总计6666帧，涉及1个任务。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包括动作数据（如肩部、肘部、腕部等的位置）、观察状态（与动作数据类似）、以及来自三个不同视角的图像观察（front_1, top_1, top_2），每个图像的分辨率为240x320，3通道。此外，数据集还包含时间戳、帧索引、episode索引等元数据。所有数据均以float32或int64格式存储。该数据集适用于机器人控制、行为学习等研究领域。

原始信息汇总

数据集概述

基本信息

• 数据集名称: my-dataset-test-v4
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 24
• 总帧数: 6666
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 30 FPS

数据划分

• 训练集: 包含全部24个情节 (索引范围: 0:24)

数据结构与特征

数据存储为Parquet格式文件，路径模式为：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet。 视频存储为MP4格式文件，路径模式为：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4。

特征字段详情

1. 动作

   • 数据类型: float32
   • 形状: [6]
   • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

2. 观测状态

   • 数据类型: float32
   • 形状: [6]
   • 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

3. 观测图像 (front_1)

   • 数据类型: video
   • 形状: [240, 320, 3] (高度，宽度，通道)
   • 视频信息:
     • 编码: h264
     • 像素格式: yuv420p
     • 非深度图
     • 帧率: 30
     • 通道数: 3
     • 无音频

4. 观测图像 (top_1)

   • 数据类型: video
   • 形状: [240, 320, 3] (高度，宽度，通道)
   • 视频信息: 与 front_1 相同

5. 观测图像 (top_2)

   • 数据类型: video
   • 形状: [240, 320, 3] (高度，宽度，通道)
   • 视频信息: 与 front_1 相同

6. 时间戳

   • 数据类型: float32
   • 形状: [1]

7. 帧索引

   • 数据类型: int64
   • 形状: [1]

8. 情节索引

   • 数据类型: int64
   • 形状: [1]

9. 索引

   • 数据类型: int64
   • 形状: [1]

10. 任务索引

    • 数据类型: int64
    • 形状: [1]

元数据

• 代码库版本: v3.0
• 机器人类型: so_follower

引用信息

• 主页: [More Information Needed]
• 论文: [More Information Needed]
• BibTeX引用: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是算法训练与评估的基石。my-dataset-test-v4数据集依托LeRobot开源框架构建，通过记录so_follower型机器人的实际操作轨迹而形成。数据采集过程涵盖了24个完整任务片段，总计6666帧观测数据，以30帧每秒的速率同步捕获机器人的关节状态与多视角视觉信息。原始数据经过结构化处理，被分割为大小一致的块并存储于Parquet格式文件中，确保了数据的高效存取与处理。

特点

该数据集在机器人控制与感知研究中展现出鲜明的技术特征。其核心在于提供了六自由度关节的动作指令与对应的状态观测，并融合了来自前视与顶部双视角的RGB视频流，形成了多模态的时空对齐数据。数据结构设计严谨，每个数据点均包含时间戳、帧索引与任务索引等元信息，支持对长序列任务的精细分析。数据规模适中，总计约300MB的存储占用，便于在实验环境中进行快速加载与迭代。

使用方法

为促进机器人模仿学习与行为克隆等研究，该数据集提供了清晰的使用路径。研究者可通过标准的HuggingFace数据集库加载，依据给定的数据路径模式访问分块的Parquet文件。数据集中已预定义训练划分，涵盖全部24个任务片段，用户可直接将其用于模型训练。对于视觉模态，配套的MP4视频文件可通过视频键进行关联访问，实现了动作-状态-视觉观测的联合利用，为端到端策略学习提供了完备的数据基础。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究依赖于高质量、多模态的真实世界交互数据。my-dataset-test-v4数据集由LeRobot项目创建，该项目致力于推动开源机器人学习的发展。该数据集聚焦于机器人操作任务，具体针对一种名为“so_follower”的机器人平台，采集了其关节位置、多视角视觉观测及时间序列信息，旨在为机器人策略学习提供丰富的训练资源。尽管数据集的具体创建时间与核心作者信息尚未公开，但其结构化的数据组织与Apache 2.0开源许可，体现了当前机器人学习社区对标准化、可复现数据集的迫切需求，为算法验证与比较奠定了重要基础。

当前挑战

该数据集旨在解决机器人模仿学习中的多模态感知与动作生成问题，其核心挑战在于如何从高维视觉输入与低维状态信息中，学习出鲁棒且泛化能力强的控制策略。具体而言，挑战包括处理多视角视频流与关节动作序列的时空对齐，以及在小规模数据（仅24个训练片段）下实现有效的策略泛化。在构建过程中，挑战涉及真实机器人数据的同步采集与高效存储，例如确保多个摄像头视频流与机器人状态数据的时间戳精确同步，并将大规模视频与结构化数据（如Parquet格式）进行整合，同时保持数据集的轻量化与易用性。

常用场景

经典使用场景

在机器人学习领域，my-dataset-test-v4数据集以其多视角视觉观测与关节状态动作的同步记录，成为模仿学习与行为克隆研究的经典资源。该数据集通过LeRobot平台采集，包含24个完整任务片段，涵盖前视与顶置摄像头的高帧率视频流，以及六自由度机械臂的精确位姿数据，为算法提供了从感知到执行的端到端训练范例。研究者可借此构建视觉-动作映射模型，探索在动态环境中基于视觉输入的机器人控制策略。

解决学术问题

该数据集有效应对了机器人学中样本效率低下与仿真到现实迁移困难的学术挑战。通过提供真实世界采集的多模态时序数据，它支持数据驱动的策略学习，减少对精确动力学模型的依赖。其结构化特征设计促进了跨模态表示学习的研究，为解决高维视觉输入下的动作生成、长期任务规划以及不确定性环境中的鲁棒控制等核心问题提供了实证基础。

衍生相关工作

围绕该数据集，已衍生出若干经典研究工作，主要集中在视觉运动策略学习、离线强化学习以及多任务泛化等方向。利用其丰富的时序轨迹，研究者开发了基于Transformer的序列预测模型、结合世界模型的规划算法，以及从视频预测中学习具身表示的框架。这些工作不仅验证了数据集的实用价值，也推动了机器人学习社区向更高效、更通用的数据驱动范式演进。