test2

该数据集是使用LeRobot创建的，适用于机器人技术领域，采用Apache-2.0许可证。数据集包含36个总片段，26260帧，涉及1个任务。数据以parquet文件格式存储，视频文件为mp4格式，总数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集结构包括动作、观察状态、观察图像（前视和顶视）、时间戳、帧索引、片段索引、索引和任务索引等特征。动作和观察状态特征包括6个浮点型数据，分别对应机器人的肩部、肘部、腕部和夹爪的位置。观察图像特征为480x640像素的彩色视频，帧率为30fps。数据集适用于机器人控制和视觉任务的研究与应用。

This dataset was developed using LeRobot, tailored for the robotics domain, and is licensed under Apache-2.0. It consists of 36 total segments and 26260 frames, covering a single task. The data is stored in Parquet file format, with video files in MP4 format. The total size of the data files is 100 MB, while the video files amount to 200 MB, with a frame rate of 30 fps. The dataset includes features such as actions, observation states, observation images (front-view and top-view), timestamps, frame indices, segment indices, global index, and task index. Both the action and observation state features contain 6 floating-point values, which respectively correspond to the positions of the robot's shoulder, elbow, wrist, and gripper. The observation image features are 480x640 pixel color videos with a frame rate of 30 fps. This dataset is suitable for research and applications related to robot control and vision tasks.

原始信息汇总

数据集概述

基本信息

• 数据集名称: test2
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人学

数据集规模

• 总情节数: 36
• 总帧数: 26260
• 总任务数: 1
• 数据分块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率: 30 FPS
• 数据划分: 训练集（0:36）

数据结构

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测状态

• 数据类型: float32
• 形状: [6]
• 名称: shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos

观测图像（前视）

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

观测图像（顶视）

• 数据类型: 视频
• 形状: [480, 640, 3]
• 名称: height, width, channels
• 视频信息:
  • 高度: 480
  • 宽度: 640
  • 编解码器: av1
  • 像素格式: yuv420p
  • 是否为深度图: false
  • 帧率: 30
  • 通道数: 3
  • 包含音频: false

元数据

• 时间戳: 数据类型 float32，形状 [1]
• 帧索引: 数据类型 int64，形状 [1]
• 情节索引: 数据类型 int64，形状 [1]
• 索引: 数据类型 int64，形状 [1]
• 任务索引: 数据类型 int64，形状 [1]

其他信息

• 代码库版本: v3.0
• 机器人类型: so_follower
• 主页: 信息缺失
• 论文: 信息缺失
• 引用: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是算法训练与验证的基石。test2数据集依托LeRobot平台构建，通过采集真实机器人交互数据形成结构化记录。数据以分块形式存储于Parquet文件中，每块包含1000帧，总计36个任务片段，涵盖26260帧观测数据。数据采集过程同步记录机器人关节状态、前视与顶视摄像头视频流，并以30帧每秒的速率保存，确保了时序一致性与多模态对齐。

特点

该数据集展现出多模态融合与精细结构化的显著特点。其核心特征包括六自由度机械臂的关节位置动作与状态观测，以及双视角视觉信息，视频数据采用AV1编码压缩以平衡质量与存储效率。数据字段涵盖时间戳、帧索引与任务标识，支持精确的时序分析与任务关联。整体设计兼顾机器人控制与视觉感知的研究需求，为模仿学习与强化学习提供了丰富的交互上下文。

使用方法

研究者可通过HuggingFace平台直接加载数据集，利用其预定义的数据路径访问分块存储的Parquet文件。数据读取后可依据帧索引与片段索引重构任务轨迹，结合动作、状态与图像字段进行端到端策略训练。视频数据可通过指定路径解码，与机器人状态同步用于感知-控制联合建模。数据集适用于行为克隆、离线强化学习等任务，其结构化格式便于集成至主流机器人学习框架中。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。test2数据集由LeRobot项目创建，该项目致力于构建开源机器人学习生态系统。该数据集聚焦于机器人操作任务，具体涉及so_follower型机器人，通过记录其关节位置状态、多视角视觉观测及对应动作指令，旨在为机器人策略学习提供丰富的离线训练资源。其核心研究问题在于如何从真实机器人交互轨迹中提取可泛化的行为模式，以降低直接在物理系统上训练的风险与成本，对促进数据驱动的机器人控制研究具有积极意义。

当前挑战

该数据集旨在解决机器人模仿学习中的领域挑战，即如何从有限的演示数据中学习鲁棒且可泛化的控制策略，并处理高维视觉观测与低维动作空间之间的复杂映射关系。在构建过程中，面临多重技术挑战：真实机器人数据采集需保证系统稳定性与安全性，同步记录多模态传感器数据（如关节状态与双视角视频）对硬件与软件提出高要求；数据规模受限于物理实验成本，导致总轨迹数有限；此外，高效存储与处理大规模视频数据，并确保其与状态动作数据的精确对齐，也是数据集构建的关键难点。

常用场景

经典使用场景

在机器人学领域，test2数据集以其多模态观测与动作序列的丰富记录，为模仿学习与行为克隆研究提供了经典范例。该数据集整合了来自so_follower机器人的关节位置状态、前视与俯视摄像头视频流，以及精确的时间戳信息，使得研究者能够基于真实世界交互数据训练端到端的策略模型。通过模拟人类操作员的演示轨迹，该数据集常被用于开发能够理解并复现复杂机械臂动作的智能体，尤其在需要视觉反馈与运动协调的任务中展现出核心价值。

衍生相关工作

围绕test2数据集，已衍生出一系列专注于机器人多模态学习的经典工作。这些研究通常利用其视频与状态联合表征，开发跨模态预训练架构或分层策略网络。例如，结合前沿的时空注意力机制，学者们构建了能够从视觉演示中提取动作原型的模型；亦有工作借鉴其序列标注格式，推进了机器人轨迹预测与异常检测算法的创新。这些成果进一步丰富了数据集中行为模式的解析维度，并为后续大规模机器人数据集的构建提供了方法论参考。

数据集最近研究

最新研究方向

在机器人学领域，多模态数据融合正成为推动智能体行为学习的关键前沿。test2数据集通过整合关节状态、视觉图像及时间序列信息，为模仿学习与强化学习算法提供了丰富的训练资源。当前研究热点聚焦于利用此类数据集开发端到端的控制策略，尤其是在真实世界场景中实现鲁棒且泛化能力强的机器人操作。随着开源机器人平台LeRobot的普及，该数据集有望加速社区在具身智能方面的探索，促进跨任务迁移学习与仿真到真实迁移技术的突破，对降低机器人部署成本、提升自主性具有深远意义。