areumii_pickplace-v2

该数据集是使用LeRobot框架创建的机器人操作数据集，旨在支持机器人模仿学习与强化学习研究。数据集包含80个演示片段（episodes），总计6069帧，聚焦于单一任务。机器人平台为areumii_c1双臂机器人，每个时间步的观测包括：18维关节状态（左右臂各关节角度及夹爪位置）、来自三个摄像头（正面、左腕、右腕）的彩色视频图像（分辨率分别为640x480和320x240，帧率20fps），以及动作指令（16维，包含左右臂末端执行器位置/姿态四元数和夹爪控制）。数据以Parquet格式存储结构化数据，视频以MP4格式存储，并提供了完整的元数据信息（如时间戳、帧索引、episode索引等）。该数据集可用于训练机器人策略，实现如拾取放置等操作任务。This dataset is a robot manipulation dataset created using the LeRobot framework, aimed at supporting research in robot imitation learning and reinforcement learning. It contains 80 demonstration episodes with a total of 6069 frames, focusing on a single task. The robot platform is the areumii_c1 dual-arm robot. Observations at each timestep include: 18-dimensional joint states (joint angles and gripper positions for both arms), color video images from three cameras (front, left wrist, right wrist) with resolutions of 640x480 and 320x240 at 20fps, and action commands (16-dimensional, including end-effector position/orientation quaternions and gripper control for both arms). Data is stored in Parquet format for structured data, videos in MP4 format, and complete metadata (such as timestamps, frame indices, episode indices) is provided. This dataset can be used to train robot policies for tasks such as pick-and-place operations.

原始信息汇总

数据集概述

• 数据集名称：areumii_pickplace-v2
• 数据集地址：https://huggingface.co/datasets/1ys1/areumii_pickplace-v2
• 许可证：Apache-2.0
• 任务类型：机器人（Robotics）
• 标签：LeRobot
• 创建工具：LeRobot（https://github.com/huggingface/lerobot）

---

数据集结构

• 总片段数（total_episodes）：80
• 总帧数（total_frames）：5669
• 总任务数（total_tasks）：1
• 采集频率（fps）：20
• 机器人类型：areumii_c1
• 数据划分（splits）：训练集（train）包含全部80个片段（"0:80"）
• 数据文件大小：约100 MB（Parquet文件），视频文件大小约200 MB（MP4）

---

特征信息

观测状态（observation.state）

• 数据类型：float32
• 向量维度：18
• 包含内容：左右肩膀、肘部、手腕、夹爪等多个关节的角度信息（例如：left_shoulder_pitch、right_elbow、left_gripper_left_finger等）

动作（action）

• 数据类型：float32
• 向量维度：16
• 包含内容：左右末端执行器的位置（x, y, z）、姿态四元数（qw, qx, qy, qz）以及夹爪控制量

图像观测（observation.images）

• front：分辨率 640×480，3通道（RGB），视频编码 AV1，20 FPS
• left_wrist：分辨率 320×240，3通道（RGB），视频编码 AV1，20 FPS
• right_wrist：分辨率 320×240，3通道（RGB），视频编码 AV1，20 FPS

其他字段

• timestamp：时间戳（float32）
• frame_index：帧索引（int64）
• episode_index：片段索引（int64）
• index：全局索引（int64）
• task_index：任务索引（int64）

---

可视化

该数据集支持通过 LeRobot 的可视化工具在线查看：
https://huggingface.co/spaces/lerobot/visualize_dataset?path=1ys1/areumii_pickplace-v2

---

引用信息

该数据集的 BibTeX 引用信息暂未提供（[More Information Needed]）。

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是算法训练与评估的基石。该数据集依托LeRobot框架，系统性地采集了双臂机器人执行抓取与放置任务的多模态数据。其构建流程严格遵循标准化协议，通过遥操作或预设策略驱动实体机器人完成特定操作，同步记录本体感受状态、动作指令及多视角视觉信息。数据经过统一的时间戳对齐与格式封装，最终以Parquet文件与AV1编码视频的形式存储，确保了数据的高效读写与跨平台兼容性，为机器人操作策略的学习提供了可靠的数据支撑。

特点

该数据集在结构与内容上展现出显著特性。其动作空间与观测空间维度明确，动作向量包含左右末端执行器的位姿与夹爪开合度，观测状态则细粒度地涵盖了双臂各关节的角度与夹爪指节位置。视觉模态由前置摄像头及左右腕部摄像头共同构成，提供了丰富的空间感知信息。数据以二十赫兹的频率采样，共涵盖八十个回合、五千余帧，且所有视频均采用高效编码，在保证画质的同时降低了存储开销，适用于模仿学习与多模态融合研究。

使用方法

使用者可通过LeRobot官方工具链便捷地加载与解析该数据集。借助Hugging Face平台提供的可视化空间，能够直观地回放操作过程，辅助理解任务执行细节。在模型训练中，可依据数据路径模板读取Parquet文件中的状态与动作序列，并解码对应视频帧以提取视觉特征。数据已预设训练集划分，可直接用于行为克隆、强化学习等算法的开发与评测。遵循Apache-2.0协议，允许在合规范围内自由使用与修改，促进了机器人学习领域的可复现研究。

背景与挑战

背景概述

机器人模仿学习与多模态感知领域长期依赖高质量、标准化操作数据集，以推动双臂协调策略的泛化研究。areumii_pickplace-v2由相关研究团队基于LeRobot框架构建，聚焦双臂抓取与放置操作，涵盖80条演示轨迹、5669帧、20Hz采样，同步采集前视与双腕视角及18维关节状态和16维末端执行器动作，基准机器人平台为areumii_c1，遵循Apache-2.0许可。该数据集为视觉-动作联合建模、双臂协调控制及端到端策略学习提供了可复现的基准资源，对促进机器人操作研究具有积极意义。

当前挑战

该数据集所应对的核心领域问题在于双臂抓取与放置任务中高维视觉-运动表征学习与精确协调控制。构建过程中面临多重挑战：演示采集需确保双臂动作同步与视角一致性，避免遮挡与标定误差；多模态数据对齐需严格保持时间戳与帧索引同步；仅含单一任务类型且样本规模有限，可能制约策略在不同物体、环境及任务变体间的泛化能力；视频压缩与存储格式对数据保真度的影响也需审慎评估。

常用场景

经典使用场景

在机器人学习与具身智能研究领域，双臂协同操作任务长期依赖于高质量的演示数据来驱动策略学习。areumii_pickplace-v2数据集采集自areumii_c1双臂机器人平台，包含80个任务回合、5669帧观测数据，以20Hz频率同步记录前视、左腕、右腕三路视频流以及18维关节状态与16维末端执行器动作，构成了典型的视觉-动作配对示范数据集。其最经典的使用场景是支撑模仿学习与视觉运动策略的训练，研究者可基于该数据集构建端到端的抓取-放置策略，让机器人从多视角视觉输入和本体感知中学习双臂协调的拾取与放置技能。

解决学术问题

该数据集针对机器人模仿学习中演示数据稀缺、双臂协调控制复杂以及多模态感知融合困难等核心学术问题提供了实证支撑。通过提供同步的多视角视觉观测与细粒度关节动作标注，它使得研究者能够探究视觉表征与动作序列之间的映射关系，验证行为克隆、扩散策略等算法在真实双臂平台上的泛化能力。其意义在于为双臂操作任务建立可复现的基准，推动策略学习从仿真环境向真实机器人迁移，并为多模态感知与控制的联合建模提供数据基础。

衍生相关工作

基于areumii_pickplace-v2数据集，研究者可衍生出一系列与双臂模仿学习、多视角策略网络及LeRobot生态相关的工作。例如，利用该数据集训练ACT、Diffusion Policy等模仿学习算法，并开展跨任务泛化与鲁棒性评估；亦可结合LeRobot工具链进行数据可视化、格式转换与策略部署研究。此外，该数据集可作为基准参与双臂操作挑战赛或算法对比研究，促进社区在数据采集标准、动作空间设计和评估协议方面的共识形成。