1M-HUGS

1M-HUGS是由纽约大学等机构创建的大规模人类抓取数据集，通过Aria Gen 2智能眼镜采集，涵盖日常生活场景中的自然抓取行为。该数据集包含100万帧图像-抓取对，覆盖6707个物体实例和41个建筑环境，数据来源包括同步的RGB图像、灰度视图、深度图以及MANO手部姿态参数。数据集创建过程涉及穿戴者执行抓取动作的视频录制，并通过后向传播技术自动生成多视角训练对，经过视觉语言模型识别、掩码传播和人工审核等步骤进行筛选。该数据集旨在为机器人灵巧抓取提供真实世界的人类示范数据，支持零样本迁移到多种机器人手部，解决机器人抓取泛化能力不足的问题。1M-HUGS is a large-scale human grasp dataset developed by institutions including New York University. It was collected using Aria Gen 2 smart glasses, covering natural grasping behaviors in daily-life scenarios. The dataset comprises 1 million image-grasp pairs, encompassing 6707 object instances and 41 built environments. Its available data includes synchronized RGB images, grayscale views, depth maps, and MANO hand pose parameters. The dataset creation workflow involves recording videos of wearers performing grasping actions, automatically generating multi-view training pairs via backpropagation techniques, and filtering the data through steps such as vision-language model recognition, mask propagation, and manual review. This dataset aims to provide real-world human demonstration data for robotic dexterous grasping, support zero-shot transfer to various robotic hands, and address the issue of insufficient generalization capability in robotic grasping.

搜集汇总

数据集介绍

构建方式

1M-HUGS数据集基于Meta Aria Gen 2智能眼镜进行采集，记录佩戴者在日常生活中抓取物体的第一人称视角视频。采集协议要求佩戴者先环绕目标物体移动头部15至30秒以捕捉静态场景，随后使用右手抓取物体。借助Aria Gen 2的相机位姿估计，将抓取帧的手部姿态反向传播至之前无手部出现的帧中，从而从单一物理抓取动作自动生成大量不同视角的图像-抓取对。原始数据经过自动化标注流程处理，利用视觉语言模型识别抓取物体、SAM3分割掩码、稳定性与邻近性启发式选取抓取帧，并最终通过人工审核确保质量。随后，对每一帧进行严格过滤，确保物体掩码非空、深度图置信度高、手部标志投影与掩码相交，并调整至224×224分辨率。最终数据集包含约6707段录制、覆盖41栋建筑、约1500个独特物体实例，共计100万帧RGB和100万帧灰度图像。

特点

该数据集的核心特点在于其真实世界、自然人类抓取行为的纯粹性，所有数据均采集自日常生活环境而非实验室或仿真环境，覆盖厨房、卧室、办公室等多样的建筑与场景。每一帧数据提供同步的RGB与灰度视图、度量深度图、物体掩码以及基于MANO模型的完整手部姿态，包括腕部平移、旋转与15个手指关节的6D旋转表示。通过将MANO形状参数固定为规范值，消除采集者手部尺寸差异，确保姿态描述的一致性。数据集规模宏大，包含100万帧图像-抓取对，且通过反向传播策略从单次抓取中自动获取多视角标注，极大提升了数据采集效率。此外，数据集还包含来自立体相机的灰度图像，增强了模型对单色相机的泛化能力。

使用方法

HUG模型采用条件流匹配方法，以单张RGB-D图像和用户在目标物体上的二维点击点作为输入，预测一个99维的抓取状态，包含腕部平移、腕部旋转及MANO手指姿态。模型通过冻结的DINOv2视觉编码器提取RGB特征，利用可训练的PointNeXt网络处理以点击点为中心的0.3米半径内点云，并通过点绘制机制将RGB特征融合至点云令牌中。融合后的场景特征经变换器细化后，输入由多个DiT块组成的流变换器，分离处理平移、旋转与手指姿态三个几何分组。训练时结合速度预测均方误差与基于MANO重建的三维手部标志L1损失，后者在接近干净步骤时权重增加。推理时通过50步欧拉积分求解流匹配常微分方程生成抓取，并可直接通过AnyTeleop或WUJI重定向映射至多种灵巧机器人手部，实现在新立体相机、新机器人形态和新环境中的零样本抓取部署。

背景与挑战

背景概述

1M-HUGS数据集由纽约大学Kevin Yuanbo Wu团队于2026年创建，旨在攻克多指灵巧手在通用物体抓取领域的瓶颈。核心研究问题在于如何利用人类自然抓取行为训练机器人，而非依赖仿真或遥操作数据。该数据集通过Meta Aria Gen 2智能眼镜采集了涵盖41栋建筑、6707个物体实例的100万帧第一人称抓取影像，时长27.8小时。其影响力在于开创了纯人类数据驱动、零样本跨机器人形态部署的灵巧抓取范式，并配套构建了HUG-BENCH基准评估体系，为机器人学习领域提供了前所未有的规模化、多样化真实世界抓取数据资源。

当前挑战

该数据集面临的核心挑战是解决多指灵巧手抓取的通用性问题。传统方法受限于仿真与现实的差距（sim-to-real gap）以及遥操作数据的稀缺性，难以覆盖开放世界的多样物体。1M-HUGS的构建过程中，挑战包括：1) 在真实环境中高效采集不同光照、视角下的自然人类抓取动作，并确保标注质量；2) 处理被遮挡时的手部跟踪退化问题，如抓取瞬间手部自遮挡导致的标签噪声；3) 攻克小物体（~1cm）、大物体及不规则几何形状的抓取精度难题，以及跨相机内参、跨机器人手部形态的零样本泛化能力。

常用场景

经典使用场景

1M-HUGS数据集作为大规模自我中心视角的人类抓取数据集，其最经典的使用场景是作为多指灵巧机器人抓取学习的训练数据源。该数据集包含了跨越41栋建筑物、6707个对象实例的100万帧人类自然抓取图像-抓取对，通过智能眼镜记录的自我中心视角与精准的3D手部姿态标注，为从人类示范中学习灵巧操作提供了前所未有的数据基础。研究者可基于此数据集训练生成式模型，实现对任意用户在单张RGB-D图像中指定物体的多样化人类风格抓取预测，进而将预测的抓取姿态映射到不同机器人手上，实现零样本的开环灵巧抓取。

衍生相关工作

1M-HUGS数据集衍生出了一系列具有里程碑意义的经典工作。依托该数据集，研究者开发了HUG（Human Universal Grasping）流匹配模型，该模型在30个未见过的真实物体测试集上达到了66.7%的桌面抓取成功率，比现有最优基线方法分别高出23%和34%。为了标准化评估，该数据集促生了HUG-BENCH基准测试集，包含90个覆盖五种几何类别和三种尺寸的日常物品及其公制尺度三维网格模型。此外，基于该数据集还衍生出了aria2mano和aria2mesh两套完整的工具链，分别用于从原始Aria记录中提取MANO手部姿态和生成物体公制尺度的仿真资产，为整个灵巧操作领域提供了可复现的研究基础设施。

数据集最近研究

最新研究方向

1M-HUGS数据集的诞生标志着灵巧抓取领域从仿真数据驱动向真实人类示范驱动的范式转变。前沿研究聚焦于利用大规模第一人称视角的RGB-D数据训练扩散流匹配模型，直接在真实环境中生成类人抓取姿态，突破了传统强化学习或优化方法在仿真到现实迁移中的瓶颈。该数据集与HUG-BENCH基准的联合发布，通过涵盖41栋建筑、6707个物体实例的百万帧级抓取数据，为多指机器人手部零样本部署提供了可复现的评估标准。其深远影响在于首次验证了仅依靠人类自然抓取数据即可实现跨机械手、跨场景的通用灵巧操作能力，为机器人从单纯感知到自主操作的跨越式发展奠定了数据与算法基础。

相关研究论文

• Human Universal Grasping

  纽约大学; 清华大学; 密歇根大学 · 2026年