MECCANO

MECCANO数据集是由卡塔尼亚大学的IPLAB实验室与Next Vision s.r.l.合作创建的，专注于工业类似环境中的人类行为理解。该数据集包含20个多模态以自我为中心的视频，涵盖了注视信号、深度图和RGB视频，这些数据是通过定制的头戴设备在意大利和英国同时采集的。数据集特别标注了用于识别和预测人与物体交互的基本任务，适用于研究如动作识别、主动物体检测与识别、以自我为中心的人-物体交互检测、动作预测和下一个主动物体检测等任务。此外，数据集还提供了关于动作和交互的时间注释，以及空间边界框注释，以支持更深入的人类行为分析。

The MECCANO dataset was co-developed by the IPLAB Laboratory at the University of Catania and Next Vision s.r.l., focusing on human behavior understanding in industrial-like environments. This dataset contains 20 multimodal egocentric video samples covering gaze signals, depth maps and RGB videos, which were collected simultaneously in Italy and the United Kingdom using custom-built head-mounted devices. The dataset specifically provides annotations for fundamental tasks related to identifying and predicting human-object interactions, and is applicable to research work including action recognition, active object detection and recognition, egocentric human-object interaction detection, action prediction and next active object detection. In addition, the dataset also offers temporal annotations for actions and interactions, as well as spatial bounding box annotations to support more in-depth human behavior analysis.

搜集汇总

数据集介绍

构建方式

MECCANO数据集是在模拟工业场景的环境下构建的，20名参与者被要求组装一辆摩托车模型，过程中需与49个细小零件和2种工具交互。数据通过头戴式Intel RealSense SR300设备采集，分辨率为1280×720像素，帧率为12fps，视频平均时长21.14分钟。采集在意大利和英国两地完成，参与者年龄跨度18至55岁，来自8个不同国籍。

特点

该数据集具有显著特点：首先，它是首个面向工业类场景的自我中心视频数据集，填补了该领域空白。其次，标注体系精细，包含12个动词类别和20个物体类别，定义了61种具体动作，并提供了时间片段和主动物体边界框的双重标注。此外，数据分布呈现长尾特性，反映了真实工业环境中动作的复杂性与多样性。

使用方法

MECCANO可支持四项核心任务：动作识别、主动物体检测、主动物体识别以及自我中心人-物交互检测。使用者可利用提供的动词和物体标签训练模型，通过时间分割和空间标注评估算法性能。数据集已划分为训练、验证和测试子集，并公开于项目网站，便于研究者复现基准实验并开展对比研究。

背景与挑战

背景概述

在可穿戴设备与工业智能化深度融合的背景下，理解第一人称视角下的人-物交互行为已成为计算机视觉领域的前沿课题。尽管已有研究在厨房、日常活动等场景中取得了显著进展，但工业环境（如工厂车间、机械维修站）中的自顶向下人-物交互分析仍属空白，主要受限于隐私保护与商业机密等数据采集障碍。为填补这一缺口，意大利卡塔尼亚大学IPLAB实验室联合赫特福德大学于2020年发布了MECCANO数据集，由Francesco Ragusa等研究者主导创建。该数据集首次聚焦工业类场景，邀请20名参与者在意大利与英国两地组装摩托车模型，记录其与微小零件、工具及说明书的交互过程。数据集包含299,376帧视频、61种动作类别与20种物体类别，并提供了时序与空间双重标注，为动作识别、主动物体检测与自顶向下人-物交互检测等任务奠定了基准。MECCANO的发布不仅拓展了自顶向下视觉研究的应用边界，更推动了可穿戴设备在工业安全与流程优化中的实用化进程。

当前挑战

MECCANO数据集面临着多层面的挑战。首先，在领域问题层面，工业类场景中的自顶向下人-物交互检测（EHOI）需同时处理动作识别与物体定位，且交互中常涉及多个微小物体（如螺丝、垫圈）同时活跃，物体尺度小、类别间外观相似（如不同长度的螺丝），导致现有方法（如InteractNet）在角色平均精度（mAP role）上仅达4.92%，远低于第三视角下的表现。其次，在构建过程中，数据采集需克服工业环境中的隐私与安全限制，通过模拟场景平衡真实性与可控性；标注阶段则需应对动作与物体的长尾分布（如“检查”动作仅占0.5%），以及主动物体在遮挡、重叠时的空间标注歧义，最终耗时数年完成8857个时间片段与64,349个边界框的精细标注，确保了数据集的高质量与挑战性。

常用场景

经典使用场景

在工业场景的自我中心视觉分析领域，MECCANO数据集为理解人与物体的交互提供了独特的实验平台。该数据集通过让20名参与者在模拟工业环境中组装摩托车模型，采集了包含复杂操作序列的自我中心视频。经典使用场景聚焦于四项核心任务：动作识别、主动物体检测、主动物体识别以及自我中心人-物交互检测。研究者可利用该数据集训练模型，从第一人称视角精准识别如拧螺丝、扳手操作等精细动作，并同步定位交互中的活跃物体，从而在类工业场景中实现对人机交互的全面理解。

衍生相关工作

MECCANO数据集催生了多项衍生研究工作。在动作识别方向，研究者基于其长尾分布特性改进了SlowFast网络与I3D模型的训练策略，提升了少样本动作类的识别性能。主动物体检测任务中，Hand-Object Detector的重新训练与距离阈值优化成为后续工作的基线，推动了针对微小物体的检测算法发展。自我中心人-物交互检测方面，InteractNet与SlowFast+Faster-RCNN的组合被广泛用作对比方法，激发了结合时空特征与图卷积网络的新架构探索。此外，该数据集还促进了跨领域迁移学习研究，例如将厨房场景的交互模型迁移至工业场景的领域适应方法。

数据集最近研究

最新研究方向

MECCANO数据集开创性地将自我中心视频中的人-物交互研究拓展至工业类场景，弥补了该领域在工厂、车间等环境中的空白。当前前沿方向聚焦于四项关键任务：动作识别、主动物体检测、主动物体识别以及自我中心人-物交互检测（EHOI）。其中，EHOI检测作为全新定义的课题，要求模型同时推理交互动词与空间定位多个主动物体，显著区别于传统第三人称视角下的HOI检测。基线实验揭示，现有顶级方法（如InteractNet）在应对微小物体、重叠动作及复杂工业背景时表现受限，而结合SlowFast时序网络与Faster-RCNN的方案虽取得进展，仍面临长尾分布与多物体协同交互的严峻挑战。该数据集的发布为可穿戴设备在智能制造、安全监控及流程辅助等热点应用提供了关键基准，推动工业场景下精细人-物理解的研究迈向新阶段。

相关研究论文

• The MECCANO Dataset: Understanding Human-Object Interactions from Egocentric Videos in an Industrial-like Domain

  IPLAB, University of Catania · 2020年