HUI360

HUI360是由法国国家信息与自动化研究所与巴黎萨克雷大学联合创建的人机交互预期数据集，旨在为野外环境中机器人主动感知行人意图提供大规模基准。该数据集涵盖9种不同环境，包含4310条轨迹，对应超过100万帧预处理注释，提供2D姿态、面部关键点与分割掩码等丰富信息。数据通过移动机器人历时3个月采集，利用YOLOv11与SAM2.1进行自动检测、跟踪与交互标注，并经过人工精修确保质量。HUI360主要应用于人机交互预期任务，帮助机器人提前判断行人是否即将交互，从而驱动更自然、高效的社会性行为。HUI360 is a human-robot interaction anticipation dataset jointly created by the French National Institute for Computer Science and Automation (INRIA) and Université Paris-Saclay. It is developed to provide a large-scale benchmark for robots' active perception of pedestrian intentions in unstructured outdoor environments. This dataset covers 9 distinct environmental scenarios, includes 4310 trajectories corresponding to over 1 million preprocessed annotated frames, and offers rich information such as 2D human poses, facial keypoints and segmentation masks. The data was collected over a three-month period using mobile robots, with automatic detection, tracking and interaction annotation performed via YOLOv11 and SAM2.1, followed by manual refinement to ensure annotation quality. HUI360 is mainly applied to human-robot interaction anticipation tasks, helping robots predict in advance whether a pedestrian is about to initiate an interaction, thereby enabling more natural and efficient social behaviors.

原始信息汇总

HUI360 数据集详情总结

一、数据集简介

HUI360 是一个面向人机交互意图预测的大规模 360° 视频数据集，视频来自机器人的第一人称（Ego-centric）视角，旨在支持机器人在人类环境中进行主动且具有社会意识的交互行为研究。该数据集是目前该领域规模最大的“野外（in-the-wild）”人机交互意图预测数据集，并配套发布了一套基准测试（Baselines）。

二、核心特点

• 数据来源：数据由移动机器人在多个真实环境（室内、室外）中，在3个月期间的不同日期内采集，捕捉了路人及用户自然、自发的行为，覆盖了广泛的个体差异。
• 标注规模：发布了包含超过 100万 条预处理后的开放注释集，涉及详细的2D姿态、面部关键点及分割掩码。这些标注通过先进的计算机视觉方法生成，并经过人工筛选以保证高质量的跟踪与交互注释。
• 原始数据：提供从机器人第一人称视角捕获的全景（Panoptic）360° 原始图像，但需遵守 GDPR 规定并通过数据转移协议（DTA）申请，仅限学术研究使用。
• 跨数据集评估：首次为该任务引入了跨数据集评估，额外发布了另一个已有的野外户外移动机器人数据集（SSUP-HRI）的 600万 条注释。

三、数据集构成与统计

以下为核心数据统计（按录制场景划分）：

指标	HUI360（室内，使用Shelfy机器人）	HUI360（基于SSUP-HRI，室外，使用Trashcan机器人）
录制总时长	71 小时	26 小时
录制时长（过滤后）	11 小时	—
个体轨迹数	4310	28000
与机器人的交互次数	375	419
图片数量	621,000	140万
检测框总数	> 100万	600万

四、数据访问方式

• 处理后的注释数据（骨骼、关键点、掩码等）：可自由访问（HUI360）。
• 原始360°视频（来自Shelfy录制）：需签署数据转移协议（DTA），申请流程如下：
  1. 下载并填写符合所属国家/地区的DTA表格（分为EEA及充分性国家，与EEA以外国家两种）。
  2. 使用学术/机构邮箱签署；若为非永久研究员，需导师签署并将您添加到“Additional researchers”一栏。
  3. 发送至邮箱：[e-mail]。
  4. 等待法律团队批准。
  5. 等待期间可在 Hugging Face 用同一学术邮箱注册并申请访问 HUI360-Videos，DTA批准后即可获得授权。
• SSUP-HRI 数据集：需单独访问其原始仓库并遵循其特定访问协议。

五、自动标注工具

数据集团队开发并开源了 Interact360 管线，可自动为任意 360° 等距柱状投影（equirectangular）视频（如Insta360相机安装在机器人或人身上拍摄）进行人机交互标注，并支持人工修正界面。

六、引用与论文信息

• 论文标题：HUI360: A 360° Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation
• 会议：FG 2026 (IEEE International Conference on Automatic Face and Gesture Recognition)
• 作者所属机构：INRIA（法国）与CEA（法国）
• 引用条目：BibTeX 引文已在数据详情页提供（含 HAL 链接）。

搜集汇总

数据集介绍

构建方式

HUI360数据集的构建立足于移动机器人在真实世界环境中的长时间部署，采集历时三个月，覆盖九个不同场景，囊括了行人自发的多样化互动行为。为确保数据质量，研究团队设计了一套自动化标注流程，利用YOLOv11x进行人物检测，SAM2.1模型实现跨帧跟踪与分割，并在此基础上提取二维姿态、面部关键点及分割掩码。所有自动化标注均经过人工审核与修正，剔除了无效片段，最终形成包含逾百万帧预处理标注的大规模数据集，并严格遵循伦理规范与GDPR要求。

特点

HUI360数据集以其宏大的规模与丰富的多样性著称，包含逾四千条人物轨迹及近百万次检测，覆盖九个迥异的室内外环境，更融合了纽约公共广场的动态场景，为交互预测模型的泛化能力提供了严苛的测试基准。数据集采用了360°全景视角，能够完整呈现人机交互的全貌。其独特的交互定义基于与机器人平台的物理接触，确保了标注的客观性与一致性，同时提供了多粒度标注（包括2D姿态、面部关键点、分割掩码）以及原始图像数据的按需访问，在合规前提下支持深层次研究。

使用方法

HUI360数据集的使用方法围绕交互预测任务的标准化评估协议展开。研究者可利用提供的自动化管线工具，在任意360°视频流中检测、跟踪并标注交互行为，从而便捷地扩展数据规模。数据集内置了清晰的训练/测试划分，支持跨环境、跨数据集的迁移学习评估，以及不同预测时域（TADV）和输入帧率的鲁棒性测试。配套的基线模型（随机森林、MLP、LSTM）及特征集（如掩码面积、关键点）为算法比较提供了坚实参照，同时开放了带标注的SSUP-HRI数据扩展，以助力跨域泛化研究。

背景与挑战

背景概述

随着服务机器人在公共及私人场所的日益普及，准确预测行人是否有意与机器人互动，成为实现主动且社交智能行为的关键技术。然而，现有的人机交互（HRI）意图预测数据集多在受控环境中采集，规模有限、场景单一，且缺乏统一标注规范，难以支撑深度模型的泛化训练与客观评估。为此，Inria、CNRS、洛林大学及CEA的研究人员于2026年在FG国际会议上发布了HUI360数据集。该数据集由移动机器人在真实环境中历时三个月采集，覆盖9个不同场景，包含超过61.2万帧全景图像、4310条行人轨迹及375次标注的物理交互事件，并提供了详尽的2D姿态、面部关键点与分割掩码。作为迄今为止规模最大的野外HRI交互预测数据集，HUI360不仅填补了该领域大规模、多样化数据资源的空白，还率先定义了交互预测的评估协议，并进行了跨数据集零样本迁移评测，为社交机器人的感知与决策研究奠定了重要基础。

当前挑战

HUI360数据集在构建与应用中面临多重挑战。首先，领域层面，HRI交互意图的界定模糊，非接触式社交信号（如凝视、犹豫）难以客观标注，现有数据集多依赖主观判断，导致标注不一致且无法规模化。HUI360采用物理接触作为交互的客观定义，虽提升了可重复性，却忽略了丰富的预接触社交行为，限制了交互类型的全面覆盖。其次，数据构建层面，在野外环境进行长时间、多场景采集需应对行人自然行为的不可控性，及隐私合规（GDPR）带来的数据移除要求；自动检测与跟踪流程易受遮挡、视角变化及移动平台影响，需大量人工校准（约15%的片段被弃用）。此外，类不平衡问题严峻，非交互样本远超交互样本（比例为50:1），对模型训练与评估指标的选择构成挑战。跨数据集迁移时，机器人平台差异（如尺寸、移动性）导致性能显著下降，凸显了域适应的必要性。

常用场景

经典使用场景

HUI360作为目前规模最大的野外人机交互意图预测数据集，其核心应用场景聚焦于推动具身智能体在复杂动态环境中的交互前瞻能力。该数据集通过部署移动机器人在为期三个月的多日采集中，于九个相异环境捕获自然、自发的行人行为，涵盖了超过一百万帧的预处理标注，包括精细的2D姿态、面部关键点及分割掩膜。研究者可借助其提供的全向360°等距柱状投影图像，开发并验证面向交互意图预测的算法模型，尤其是利用其构建的标准化评估协议（如跨环境与跨数据集迁移评估）来度量模型在未知场景下的泛化性能。

衍生相关工作

HUI360的发布衍生了一系列具有前瞻性的研究工作，极大地推动了交互预测领域的理论深化与技术创新。其提供的自动化标注管线（基于YOLO检测与SAM2跟踪分割）激发了研究者探索更高效、更通用的交互事件检测方法，并促进了对于非接触性交互信号（如凝视、犹豫、言语参与）的建模探索。在模型架构方面，该数据集所建立的基线与跨数据集评估协议，催生了针对全向图像特征提取、时序动态建模（如LSTM、Transformer）以及图神经网络空间关系编码等方向的大量改进研究。此外，通过额外标注SSUP-HRI数据集并实现跨数据集零样本迁移评估，开创了人机交互预测领域域适应研究的先河，为未来构建更具鲁棒性与通用性的社交感知系统铺平了道路。

数据集最近研究

最新研究方向

HUI360数据集引领了人机交互预测领域的最新研究潮流，其核心方向聚焦于通过大规模野外场景下的360度第一视角数据，推动交互意图预测模型的泛化能力与真实世界适应性。该数据集以物理接触为客观交互界定，规避了主观标注歧义，并首创跨数据集零样本迁移评估协议，为评测模型在不同环境、机器人平台及视角下的鲁棒性树立了新标杆。此外，研究还探索了降低输入帧率对预测性能的边际影响，为资源受限的嵌入式机器人应用提供了实证基准。HUI360不仅填补了大规模、多样性野外交互预测数据的空白，更通过自动化标注流程与人工精修结合的策略，确立了数据质量与可扩展性的新范式，深刻影响着社交机器人、具身智能及主动感知等前沿领域的算法设计与评估体系。

相关研究论文

• HUI360: A 360° Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation

  法国国家信息与自动化研究所; 巴黎萨克雷大学 · 2026年