遇见数据集

areumii-doubletask-v1

收藏
Hugging Face2026-09-30 更新2026-10-01 收录
官方服务:

资源简介:

该数据集是一个基于LeRobot框架创建的机器人操作数据集,使用areumii双机械臂平台采集。数据集包含77个episodes,共53308帧,覆盖2个不同的操作任务。每条数据记录包括:16维动作向量(左右双臂各关节角度及夹爪位置)、对应的16维机器人状态向量、来自头部摄像头(480×640像素)及左右腕部摄像头(180×320像素)的视觉观测(以AV1编码视频形式存储),以及时间戳、帧索引、episode索引、任务索引等元信息。数据以parquet格式存储,视频以mp4格式存储,整体数据文件约100MB,视频文件约200MB。该数据集适用于机器人行为克隆、模仿学习等基于视觉和状态的动作预测任务。

This dataset is a robot manipulation dataset created based on the LeRobot framework, collected using the areumii dual robotic arm platform. It contains 77 episodes with a total of 53,308 frames, covering 2 different manipulation tasks. Each data record includes: a 16-dimensional action vector (joint angles and gripper positions of left and right arms), a corresponding 16-dimensional robot state vector, visual observations from the head camera (480×640 pixels) and left/right wrist cameras (180×320 pixels) stored as AV1-encoded videos, and meta-information such as timestamps, frame indices, episode indices, and task indices. Data is stored in parquet format, videos in mp4 format, with approximately 100MB for data files and 200MB for video files. This dataset is suitable for robot behavior cloning, imitation learning, and other vision-and-state-based action prediction tasks.

创建时间:
2026-09-17
原始信息汇总

数据集概述

基本信息

  • 数据集地址:https://huggingface.co/datasets/1ys1/areumii-doubletask-v1
  • 许可证:apache-2.0
  • 任务类别:robotics
  • 标签:LeRobot
  • 创建工具:LeRobot
  • 机器人类型:areumii

数据集配置

  • 配置名称:default
  • 数据文件路径:data//.parquet

数据集规模

  • 总回合数(total_episodes):77
  • 总帧数(total_frames):53308
  • 总任务数(total_tasks):2
  • 帧率(fps):30
  • 数据划分:train(0:77)

数据集结构

数据特征

action

  • 数据类型:float32
  • 形状:[16]
  • 维度名称:
    • left_shoulder_pitch.pos
    • left_shoulder_roll.pos
    • left_shoulder_yaw.pos
    • left_elbow.pos
    • left_wrist_roll.pos
    • left_wrist_yaw.pos
    • left_wrist_pitch.pos
    • left_gripper.pos
    • right_shoulder_pitch.pos
    • right_shoulder_roll.pos
    • right_shoulder_yaw.pos
    • right_elbow.pos
    • right_wrist_roll.pos
    • right_wrist_yaw.pos
    • right_wrist_pitch.pos
    • right_gripper.pos

observation.state

  • 数据类型:float32
  • 形状:[16]
  • 维度名称:与 action 相同(16 个关节位置维度)

observation.images.head

  • 数据类型:video
  • 形状:[480, 640, 3]
  • 视频参数:
    • 高度:480
    • 宽度:640
    • 编码格式:av1
    • 像素格式:yuv420p
    • 帧率:30
    • 通道数:3
    • 是否含音频:否
    • 是否深度图:否

observation.images.left_wrist

  • 数据类型:video
  • 形状:[180, 320, 3]
  • 视频参数:
    • 高度:180
    • 宽度:320
    • 编码格式:av1
    • 像素格式:yuv420p
    • 帧率:30
    • 通道数:3
    • 是否含音频:否
    • 是否深度图:否

observation.images.right_wrist

  • 数据类型:video
  • 形状:[180, 320, 3]
  • 视频参数:
    • 高度:180
    • 宽度:320
    • 编码格式:av1
    • 像素格式:yuv420p
    • 帧率:30
    • 通道数:3
    • 是否含音频:否
    • 是否深度图:否

其他字段

  • timestamp:float32,形状 [1]
  • frame_index:int64,形状 [1]
  • episode_index:int64,形状 [1]
  • index:int64,形状 [1]
  • task_index:int64,形状 [1]

存储路径

  • 数据路径:data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
  • 视频路径:videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
  • 分块大小:1000
  • 数据文件大小上限:100 MB
  • 视频文件大小上限:200 MB

元数据

  • 代码库版本:v3.0

其他信息

  • 主页:[More Information Needed]
  • 论文:[More Information Needed]
  • 引用(BibTeX):[More Information Needed]

可视化

可通过以下地址在线可视化该数据集:https://huggingface.co/spaces/lerobot/visualize_dataset?path=1ys1/areumii-doubletask-v1

搜集汇总
数据集介绍
areumii-doubletask-v1 数据集图片
构建方式
该数据集依托LeRobot框架构建,采用多模态同步采集策略,整合了双臂机器人在执行双任务过程中的关节位置、动作指令与视觉观测数据。数据采集以30帧每秒的频率进行,覆盖77个回合、53308帧,任务类型为两种,每条数据均包含16维动作空间与状态空间,并配有头部、左腕、右腕三路视频流,视频以AV1编码存储,确保了数据的高保真与可复现性。
使用方法
使用者可借助LeRobot工具链直接加载数据集,通过提供的可视化空间在线浏览数据分布与任务执行过程。数据按训练集划分,可直接用于训练机器人策略模型,支持从动作预测到视觉-动作联合建模等多种任务。加载时需遵循meta/info.json中的路径规范,利用Parquet与MP4文件分别读取状态与视频信息,确保时间戳与帧索引的准确对齐。
背景与挑战
背景概述
伴随具身智能与机器人学习范式的演进,双臂协同操作日益成为实现通用机器人技能的关键议题。areumii-doubletask-v1数据集依托LeRobot框架构建,发布于HuggingFace平台,遵循Apache-2.0开源许可,旨在为双臂机器人模仿学习与策略泛化提供标准化数据资源。该数据集以areumii机器人平台为采集载体,涵盖77条轨迹、53308帧数据,涉及左臂与右臂各七自由度的关节位置及夹爪状态,同步记录了头部与双腕视角的视频观测。其核心研究问题聚焦于双臂协调任务下的策略学习与多模态感知融合,为机器人操作策略的可复现研究提供了重要基准,对推动双臂操作领域的数据驱动方法具有积极意义。
当前挑战
双臂协同操作所固有的高维动作空间与双臂间紧耦合特性,构成了该领域亟待攻克的核心难题。areumii-doubletask-v1数据集面临多重挑战:在领域问题层面,双臂任务要求策略模型同时处理左右臂的协调时序与相对空间关系,较单臂操作显著提升了学习复杂度;在构建过程中,数据采集需保证双臂运动学标定的一致性、多视角视频与关节状态的精确时间同步,以及任务演示在不同初始条件下的可复现性,对硬件系统与数据管线提出了严苛要求。此外,仅包含两条任务与77条轨迹的有限规模,亦对策略的泛化能力评估构成了制约。
常用场景
经典使用场景
在机器人学习与具身智能研究领域,双臂协同操作任务长期以来被视为检验算法泛化能力与精细控制水平的重要试金石。areumii-doubletask-v1数据集恰切地服务于这一需求,其经典使用场景聚焦于基于视觉-动作映射的双臂机器人模仿学习与策略评估。该数据集以30帧每秒的采样频率,同步记录了头部主视角及左右腕部特写视角的高清视频流,并配以16维关节位置动作向量与状态向量,完整覆盖了77个任务回合、逾五万帧的交互轨迹。研究者通常将其用于训练端到端的视觉运动策略,使机器人能够在两个任务设定下,依据多视角视觉观测生成协调的双臂动作序列,从而实现从感知到行为的闭环学习。
解决学术问题
该数据集有效回应了机器人模仿学习中若干长期存在的学术难题。其核心贡献在于为双臂协调控制提供了细粒度、多视角且时序对齐的真实机器人演示数据,缓解了该领域高质量公开数据稀缺的困境。具体而言,数据集通过同步采集头部与双腕视角,使得研究者能够探究视角融合对动作预测精度的影响;同时,其涵盖两个不同任务,为评估策略在任务间的泛化性与迁移能力提供了基准。在学术意义上,该数据集推动了视觉-语言-动作模型在双臂平台上的验证,为比较不同模仿学习算法在相同硬件与任务条件下的性能差异奠定了可复现的实验基础。
实际应用
在实际应用层面,areumii-doubletask-v1数据集为双臂机器人系统的技能习得与部署提供了直接可用的训练资源。其数据格式与LeRobot框架原生兼容,开发者可便捷地加载数据并开展策略训练,进而将学习到的模型迁移至真实的areumii机器人平台。典型应用涵盖双手抓取与操作、协同装配、以及需要双臂配合的日常服务任务。借助头部与腕部多视角视频,系统能够在非结构化环境中感知物体位姿与自身关节构型,从而生成鲁棒的动作指令。该数据集降低了双臂机器人智能化的数据门槛,为工业分拣、家庭服务等场景中的双臂协同作业提供了可借鉴的技术路径。
数据集最近研究
最新研究方向
在具身智能与机器人操作学习迅猛发展的背景下,双臂协作和双任务学习正成为提升机器人泛化能力的关键路径。areumii-doubletask-v1数据集依托LeRobot框架构建,涵盖77个回合、逾五万帧的同步视觉与关节状态记录,配备头部及双腕多视角视频流,为双臂协调控制与双任务交替策略研究提供了细粒度数据支撑。当前前沿研究聚焦于利用此类多模态数据探索模仿学习与视觉-语言-动作模型在非结构化环境中的迁移能力,尤其关注双手灵巧操作中任务切换与长程规划的表征学习。该数据集的出现呼应了社区对标准化双臂操作基准的迫切需求,有望推动机器人从单一任务执行向多任务协同的范式跃迁,对通用机器人智能的发展具有积极的支撑意义。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务