FPI-Det

FPI-Det数据集是一个包含22879张图像的大规模数据集，用于手机使用检测和理解。该数据集涵盖了工作场所、教育、交通和公共场所等四种主要场景，并提供了同步的标注信息，包括人脸和手机。数据集的特点包括极端的尺寸变化、频繁的遮挡和不同的捕获条件。FPI-Det数据集旨在帮助研究人员训练和评估模型，以实现对人类属性和交互设备在统一检测框架下的建模。数据集的创建过程涉及多阶段，包括从多个来源收集图像、手动检查和标注感兴趣的对象（人脸和手机）等。该数据集的应用领域包括交通安全、工作场所监测、教育和人机交互等领域，旨在解决手机使用检测和理解的问题。

The FPI-Det dataset is a large-scale dataset containing 22,879 images, designed for mobile phone usage detection and understanding. This dataset covers four main scenarios: workplace, education, transportation, and public places, and provides synchronized annotation information including human faces and mobile phones. The characteristics of the dataset include extreme size variation, frequent occlusions, and diverse capture conditions. The FPI-Det dataset aims to assist researchers in training and evaluating models to achieve modeling of human attributes and interactive devices within a unified detection framework. The dataset creation process involves multiple stages, including collecting images from multiple sources, manually inspecting, and annotating objects of interest (human faces and mobile phones). Application scenarios of this dataset include traffic safety, workplace monitoring, education, and human-computer interaction, aiming to address the challenges of mobile phone usage detection and understanding.

搜集汇总

数据集介绍

构建方式

在移动设备普及带来行为感知挑战的背景下，FPI-Det数据集通过多阶段流程构建而成。图像采集自监控摄像头、移动设备和在线视频平台，覆盖工作场所、教育、交通与公共空间四大典型场景，确保环境多样性与现实代表性。标注过程中采用人工精细标注与双重校验机制，对部分遮挡的手机和复杂视角的人脸进行边界框标记，并通过三方共识解决歧义，最终形成包含22,879张图像、29,279个人脸与10,255部手机的同步标注数据。

使用方法

作为人机交互检测领域的基准资源，FPI-Det支持双重任务范式。在目标检测层面，研究者可利用其同步标注训练YOLO或DETR等模型，评估其在多尺度目标与遮挡场景下的鲁棒性；在行为分类层面，通过非参数化规则将同帧内人脸与手机共现判定为“使用中”状态，实现端到端行为识别。数据集按18,800/1,730/2,349划分训练、验证与测试集，并配套几何坐标与距离阈值工具，助力模型在边缘设备部署与实时监控系统中的性能优化。

背景与挑战

背景概述

随着移动设备的广泛普及，视觉系统在安全监控、工作场所生产力评估和注意力管理等领域面临新的挑战。FPI-Det数据集由悉尼大学、太原理工大学和西安科技大学的研究团队于2025年共同创建，旨在解决人机交互中手机使用行为的精细检测问题。该数据集包含22,879张图像，覆盖工作场所、教育、交通和公共空间等多种场景，通过同步标注人脸和手机位置，推动了对行为上下文的深度理解。作为首个大规模人脸-手机交互基准，FPI-Det填补了传统通用数据集在细粒度人机交互建模上的空白，为交通安全、教育管理和人机交互研究提供了关键数据支撑。

当前挑战

FPI-Det数据集的核心挑战在于解决复杂环境下手机使用行为的精准检测与理解。在领域问题层面，模型需区分主动使用与被动持有等细微行为差异，并克服多尺度目标（如20×20像素的手机与800×800像素的人脸共存）、频繁遮挡（如手部遮挡设备或面部）以及多样化采集条件（如低光照、运动模糊）带来的识别困难。构建过程中，数据集面临标注一致性的挑战，需通过多轮人工校验处理部分可见目标与复杂交互场景，并确保在密集人群和极端视角下的标注可靠性。这些因素共同构成了对现有检测模型泛化能力和鲁棒性的严峻考验。

常用场景

经典使用场景

在视觉行为分析领域，FPI-Det数据集通过同步标注人脸与手机的空间关系，为细粒度人机交互研究提供了标准化评估框架。该数据集覆盖工作场所、教育环境、交通场景及公共空间四大典型场景，其核心应用在于训练模型识别主动使用手机的行为模式，例如通过分析面部朝向、手部位置与设备距离等特征，区分被动持有与主动操作状态。这种精细化的标注体系使得研究者能够系统评估模型在复杂环境下的鲁棒性，尤其在处理尺度变化、遮挡干扰及光照差异等现实挑战时展现出重要价值。

解决学术问题

针对传统目标检测数据集缺乏人机交互上下文关联的局限性，FPI-Det通过构建大规模同步标注数据，解决了行为感知视觉任务中的三大核心问题：其一，突破了通用检测基准对孤立物体识别的依赖，实现了对动态交互关系的联合推理；其二，填补了现有数据集在极端尺度变化与频繁遮挡场景下的技术空白，推动模型在真实环境中的泛化能力；其三，通过定义“使用中”与“非使用”的细粒度行为分类，为注意力管理、安全监控等跨学科研究提供了可量化的评估基准，显著提升了行为理解模型的语义层次。

实际应用

该数据集在工业部署中展现出广泛的应用潜力。于交通安全领域，系统可通过实时检测驾驶员手机使用行为，有效降低因分心驾驶导致的事故风险；在教育场景中，能辅助管理者识别课堂违规使用电子设备的现象，维护教学秩序；在工业生产监控方面，可对工作场所的手机使用进行智能分析，提升生产效率与安全管理水平。其轻量化模型设计更支持边缘设备部署，为智慧城市、人机交互等实际场景提供了高可用性解决方案。

数据集最近研究

最新研究方向

随着移动设备在日常生活中的普及，人机交互行为检测成为计算机视觉领域的前沿课题。FPI-Det数据集聚焦于面部与手机的交互检测，其最新研究主要探索在复杂场景下实现细粒度行为理解的技术路径。当前热点集中于利用Transformer架构增强空间关系推理能力，以应对尺度变化、遮挡和光照多样性等挑战。该数据集通过同步标注面部与手机的空间位置，推动了行为感知系统在交通安全、工作场所监控等关键领域的应用，为构建鲁棒且可解释的检测模型提供了重要基准。

相关研究论文

• 通过

  悉尼大学、太原科技大学、西安科技大学 · 2025年