areumii_pickplace-v5

该数据集是基于LeRobot框架构建的机器人操作数据集，专注于双臂机器人（areumii_c1）的抓取放置任务（pick and place）。数据集包含160个演示片段（episode），共计13767帧，涵盖2个不同的任务。数据以30帧/秒的速率采集，包含来自三个摄像头的视频流：前视摄像头（480×640分辨率）以及左右腕部摄像头（各240×320分辨率），均采用AV1编码。此外，每个时间步还记录了机器人左右臂的18维关节状态（角度/位置）、16维动作（包括左右臂末端执行器的位置、四元数姿态和夹爪指令），以及时间戳、帧索引、episode索引和任务索引等元数据。该数据集适用于机器人模仿学习、行为克隆、强化学习等任务，特别适合研究双臂协调操作场景。This dataset is a robot manipulation dataset built on the LeRobot framework, focusing on the pick and place task of a dual-arm robot (areumii_c1). The dataset contains 160 demonstration episodes totaling 13767 frames, covering 2 different tasks. Data is collected at 30 frames per second, including video streams from three cameras: a front-view camera (480×640 resolution) and left and right wrist cameras (240×320 resolution each), all encoded with AV1. Additionally, each timestep records the 18-dimensional joint states (angles/positions) of the robots left and right arms, 16-dimensional actions (including positions, quaternion poses, and gripper commands of the left and right arm end effectors), as well as metadata such as timestamps, frame indices, episode indices, and task indices. This dataset is suitable for tasks such as robot imitation learning, behavior cloning, and reinforcement learning, especially for studying dual-arm coordinated manipulation scenarios.

原始信息汇总

数据集概述：areumii_pickplace-v5

基本信息

• 数据集名称：areumii_pickplace-v5
• 许可证：Apache-2.0
• 任务类型：机器人（Robotics）
• 标签：LeRobot
• 创建工具：通过 LeRobot 创建
• 数据集地址：https://huggingface.co/datasets/1ys1/areumii_pickplace-v5

数据集结构

属性	值
总片段数	160
总帧数	13,767
总任务数	2
帧率	30 FPS
数据文件大小	100 MB
视频文件大小	200 MB
机器人类型	areumii_c1
训练/测试划分	训练集：0-160（全部）
代码库版本	v3.0

数据特征

观测状态（observation.state）

• 数据类型：float32
• 维度：18维
• 包含左右手臂各9个关节信息：
  • 左臂：shoulder_pitch, shoulder_roll, shoulder_yaw, elbow, wrist_roll, wrist_yaw, wrist_pitch, gripper_left_finger, gripper_right_finger
  • 右臂：与左臂相同结构

动作（action）

• 数据类型：float32
• 维度：16维
• 包含双臂末端执行器的位姿和夹爪控制：
  • 右臂：ee_x, ee_y, ee_z, ee_qw, ee_qx, ee_qy, ee_qz, gripper
  • 左臂：与右臂相同结构

图像观测（observation.images）

• 前置摄像头（front）：480x640 分辨率，3通道
• 左腕摄像头（left_wrist）：240x320 分辨率，3通道
• 右腕摄像头（right_wrist）：240x320 分辨率，3通道
• 视频编码：AV1 编码，30 FPS，YUV420P 像素格式

其他特征

• timestamp：时间戳（float32）
• frame_index：帧索引（int64）
• episode_index：片段索引（int64）
• index：索引（int64）
• task_index：任务索引（int64）

数据格式

• 数据文件：Parquet 格式，存储在 data/ 目录下
• 视频文件：MP4 格式，存储在 videos/ 目录下
• 文件命名：chunk-{编号}/file-{编号}.parquet 和 .mp4 格式

总结

该数据集是一个面向双臂机器人拾取与放置（Pick and Place）任务的机器人操作数据集，包含160个演示片段，记录了双臂的关节状态、末端执行器动作以及多视角视觉信息（前置、左腕、右腕摄像头），适用于基于模仿学习的机器人操控任务训练。

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，面向双臂机器人操作任务，系统采集了areumii_c1机器人在抓取与放置场景中的多模态演示数据。构建过程以30帧每秒的频率同步记录机器人本体状态与动作指令，其中状态向量涵盖左右臂各七个关节角度及夹爪开合度共18维，动作向量则由左右末端执行器的三维位置、四元数姿态及夹爪控制量组成16维。视觉观测通过前视、左腕和右腕三个视角的摄像头采集，分别以640×480和320×240分辨率编码为AV1格式视频，确保时空对齐的精确性与数据的高保真度。

特点

数据集包含160个完整演示回合、共计13767帧，覆盖2类不同任务，展现出丰富的操作多样性与场景泛化潜力。其核心特点在于多视角视觉与本体感知的深度融合，前视相机提供全局场景理解，双腕部相机则捕捉精细的局部操作细节，形成互补的观测体系。所有视频采用高效AV1编解码，在保证画质的同时显著压缩存储开销。数据以统一分块Parquet与MP4文件组织，训练集划分明确，便于大规模学习算法的直接加载与训练，为机器人模仿学习与策略泛化研究提供了结构清晰、模态完备的数据基础。

使用方法

使用该数据集时，研究人员可借助LeRobot工具链直接加载Parquet格式的状态与动作序列，并通过对应的视频路径读取多视角视觉流。数据字段命名规范，observation.state与action维度明确，可直接输入至行为克隆、扩散策略或视觉-语言-动作模型进行训练。Hugging Face平台提供的可视化空间支持在线回放演示轨迹，便于快速验证数据质量与任务语义。用户亦可依据任务索引与回合编号灵活划分训练与验证子集，适配不同实验设定下的模仿学习与泛化评估需求。

背景与挑战

背景概述

在机器人学习领域，双臂协同操作任务长期依赖高成本硬件与稀缺示教数据，限制了算法的泛化与复现。areumii_pickplace-v5数据集于近年构建，基于LeRobot框架，由研究团队依托areumii_c1机器人平台采集，旨在解决双臂抓取与放置任务中的多模态示教问题。该数据集涵盖160个回合、13767帧，同步记录前视及双腕视角视频与18维关节状态、16维末端动作，为视觉-运动策略学习提供了细粒度监督。其发布推动了低成本双臂操作基准的建立，对机器人模仿学习与多模态表征研究具有奠基意义。

当前挑战

该数据集所应对的核心领域问题在于双臂协调抓取与放置的复杂控制，要求算法在动态视觉观测下生成高维连续动作序列。构建过程中面临多重挑战：双臂动作空间耦合导致示教轨迹的同步与标注难度显著增加；多视角视频与状态信号的时序对齐需在30fps下保持毫秒级精度；真实机器人采集受限于硬件磨损与操作安全，样本多样性与任务覆盖范围仍待扩充。此外，仅包含2类任务，对泛化性评估构成潜在约束，如何从有限示教中提取可迁移策略成为后续研究的关键瓶颈。

常用场景

经典使用场景

在机器人学习领域，双臂协同操作任务长期依赖高精度仿真环境，而真实世界演示数据的稀缺限制了策略的泛化能力。该数据集以30Hz频率同步采集前视与双腕视角的RGB视频流，并记录18维关节状态和16维末端执行器动作，构成多模态时序对齐的演示轨迹。其经典使用场景聚焦于模仿学习与视觉-运动策略训练，研究者可基于160个回合、13767帧的抓取与放置任务数据，构建端到端的感知-动作映射模型，验证算法在非结构化环境中的操作鲁棒性。

解决学术问题

针对机器人学习中演示数据规模不足、多视角融合困难以及双臂协调控制策略难以评估等常见问题，该数据集提供了标准化的数据格式与统一的评估基准。其多模态特征对齐设计解决了视觉-运动策略训练中观测与动作空间异构的难题，而双机械臂的对称结构则为研究协同操作与冗余自由度控制提供了可复现的实验平台。数据集的发布促进了模仿学习、强化学习与多任务学习在真实机器人场景下的交叉验证，为算法泛化性与样本效率的学术探讨奠定了数据基础。

衍生相关工作

基于该数据集，研究者已开展了一系列衍生工作，包括多视角融合的模仿学习算法、双臂协同控制的强化学习框架以及基于视觉Transformer的策略网络设计。这些工作进一步拓展了数据集在跨模态表征学习、长时序任务规划与sim-to-real迁移等方向的应用边界，并推动了LeRobot生态中标准化数据协议与可视化工具的迭代更新，为后续机器人学习研究提供了可复用的基准与工具链。