eval_act-wb2-sort_sharp_merged_19ep

该数据集采用Apache-2.0许可证发布，主要面向机器人技术领域，与LeRobot项目相关联。数据集包含42个完整的情节，总计53,730帧数据，专为单一任务设计。数据以分块形式存储，每块包含1,000帧，总数据文件大小为10GB，视频文件大小为50GB，帧率为30fps。数据集结构丰富，包括12个关节位置的动作和状态观测（左/右肩、肘、腕及夹爪的位置），以及来自四个不同角度的视频观测（左前、左上、左左、左右），每个视频的分辨率为480x640，3通道彩色，采用AV1编码。此外，数据集还包含时间戳、帧索引、情节索引、数据索引和任务索引等元数据。所有训练数据均包含在单一训练分割中（0:42）。

原始信息汇总

数据集概述

基本信息

• 数据集名称: eval_act-wb2-sort_sharp_merged_19ep
• 创建工具: 使用 LeRobot (https://github.com/huggingface/lerobot) 创建
• 许可证: Apache 2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模与结构

• 总情节数: 42
• 总帧数: 53730
• 总任务数: 1
• 数据块大小: 1000
• 数据文件总大小: 10000 MB
• 视频文件总大小: 50000 MB
• 帧率: 30 FPS
• 数据分割: 全部数据用于训练 (索引 0:42)

数据文件与路径

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作

• 数据类型: float32
• 形状: [12]
• 描述: 包含左右机械臂各关节（肩部平移、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转）及夹爪的位置信息。

观测状态

• 数据类型: float32
• 形状: [12]
• 描述: 与动作特征相同，记录左右机械臂各关节及夹爪的位置状态。

观测图像

包含四个视角的相机图像观测：

• 左上方相机 (observation.images.left_up)
• 左前方相机 (observation.images.left_front)
• 左右侧相机 (observation.images.left_right)
• 左左侧相机 (observation.images.left_left)

图像通用属性:

• 数据类型: video
• 形状: [480, 640, 3] (高度，宽度，通道)
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图
• 帧率: 30 FPS
• 通道数: 3
• 无音频

元数据

• 时间戳: float32, 形状 [1]
• 帧索引: int64, 形状 [1]
• 情节索引: int64, 形状 [1]
• 数据索引: int64, 形状 [1]
• 任务索引: int64, 形状 [1]

其他信息

• 代码库版本: v3.0
• 机器人类型: bi_so_follower
• 主页: 信息缺失
• 论文: 信息缺失
• 引用信息: 信息缺失

搜集汇总

数据集介绍

构建方式

在机器人学领域，高质量的数据集对于推动机器人控制与决策算法的进步至关重要。eval_act-wb2-sort_sharp_merged_19ep数据集依托LeRobot平台构建，通过记录双手机器人（bi_so_follower）在特定任务中的交互过程生成。数据以分块形式存储于Parquet文件中，每块包含1000帧，总计42个完整交互片段，涵盖53730帧数据。构建过程中同步采集了机器人左右臂各六个关节的位置状态作为动作与观测数据，并整合了来自四个视角的视觉视频流，帧率统一为30fps，确保了时序与多模态数据的一致性。

特点

该数据集的核心特征体现在其丰富的多模态结构与精细的机器人状态表征上。数据集中不仅包含了机器人左右臂各关节的精确位置信息，作为动作与状态观测的双重维度，还提供了四个独立视角的高清视频流，分辨率均为640x480，采用AV1编码，为视觉感知研究提供了立体化输入。数据集规模适中，总计约10GB的数据文件与50GB的视频文件，所有数据均以结构化特征形式组织，支持高效的批量读取与处理，适用于机器人模仿学习、强化学习及多模态融合等前沿研究方向。

使用方法

为有效利用该数据集进行机器人学习研究，用户可通过LeRobot框架或直接读取Parquet文件来加载数据。数据集已预分为训练集，涵盖全部42个交互片段，研究者可依据帧索引、片段索引等元数据灵活提取所需序列。在具体应用中，可联合使用关节位置状态与多视角图像序列作为模型输入，以学习机器人的运动策略或进行行为克隆。数据的高帧率与同步特性使得其适用于需要精细时序建模的任务，同时建议利用其分块存储结构实现流式数据加载，以优化大规模训练过程中的内存使用效率。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。eval_act-wb2-sort_sharp_merged_19ep数据集由LeRobot项目创建，该项目致力于构建开源机器人学习生态系统。该数据集聚焦于双臂仿人机器人（bi_so_follower）在特定任务中的操作行为，通过记录机器人的关节状态、多视角视觉观测以及对应的动作指令，旨在为机器人策略学习与评估提供丰富的训练与测试资源。其核心研究问题在于如何利用真实交互数据提升机器人在复杂环境中的泛化能力与操作精度，对推动机器人自主操作技术的发展具有潜在影响力。

当前挑战

该数据集致力于解决机器人操作任务中策略学习与评估的挑战，其核心问题在于如何从高维、多模态的传感器数据（如多视角图像和关节状态）中学习出鲁棒且精确的控制策略。构建过程中面临的挑战包括：真实世界数据采集的复杂性与成本高昂，需协调机器人硬件同步与多传感器数据流；数据标注与对齐的困难，确保动作指令与观测状态在时间上精确匹配；以及处理大规模视频数据带来的存储与计算负担，同时保持数据格式的统一与高效访问。

常用场景

经典使用场景

在机器人学习领域，eval_act-wb2-sort_sharp_merged_19ep数据集以其丰富的多视角视觉观测与精确的关节位置动作记录，为模仿学习与强化学习算法的训练与评估提供了经典范例。该数据集通过双手机器人平台采集了42个完整任务片段，涵盖了从环境感知到动作执行的连续序列，使得研究者能够基于真实世界交互数据，构建端到端的策略模型，从而模拟复杂操作任务的学习过程。

衍生相关工作

围绕该数据集，已衍生出多项聚焦于多模态机器人学习的经典研究工作。这些工作通常利用其同步的视频与动作序列，开发融合视觉特征与运动编码的神经网络架构，以提升策略的准确性与泛化性。此外，数据集常被用作基准测试工具，用于评估不同算法在复杂操作任务上的样本效率与最终性能，推动了机器人学习社区在模型架构与训练范式上的持续创新。

数据集最近研究

最新研究方向

在机器人学习领域，eval_act-wb2-sort_sharp_merged_19ep数据集凭借其丰富的双手机械臂操作数据，正成为推动模仿学习与强化学习融合研究的关键资源。该数据集整合了多视角视觉观测与高维关节动作序列，为探索基于视觉的端到端策略学习提供了坚实基础。当前前沿研究聚焦于利用此类大规模真实世界交互数据，训练通用机器人操作模型，以应对复杂环境下的灵巧操控任务。随着开源机器人社区如LeRobot的兴起，这类数据集加速了跨机构协作，促进了标准化基准的建立，对提升机器人自主性与适应性具有深远意义。