F-360iSOD

F-360iSOD是一个基于注视点的360度全景图像数据集，由法国IETR INSA Rennes创建，包含107张具有挑战性的全景图像，涵盖室内外场景。数据集通过人工标注了1,165个显著对象，每个对象都有精确的像素级标注。创建过程中，利用真实人眼注视图指导标注，确保数据集质量。F-360iSOD主要用于显著对象检测研究，特别是在虚拟现实和全景图像分析领域，旨在提高模型对全景图像中显著对象的识别能力。F-360iSOD is a gaze-based 360° panoramic image dataset created by IETR INSA Rennes, France. It comprises 107 challenging panoramic images covering both indoor and outdoor scenes. The dataset contains 1,165 manually annotated salient objects, each with precise pixel-level ground truth annotations. During its development, real human eye fixation maps were utilized to guide the annotation process, ensuring the high quality of the dataset. F-360iSOD is primarily intended for salient object detection research, particularly in the domains of virtual reality and panoramic image analysis, aiming to improve the ability of models to recognize salient objects in panoramic images.

搜集汇总

数据集介绍

构建方式

在虚拟现实技术蓬勃发展的背景下，全景图像显著性对象检测领域长期缺乏具有像素级标注的真实场景数据集。F-360iSOD数据集的构建过程始于从Stanford360和Salient!360两个公开全景数据集中精心筛选出107张具有挑战性的真实场景等距柱状投影全景图像。基于注视点预测与显式显著性判断之间的一致性原理，研究团队在真实人类眼动注视图的引导下，采用高斯卷积与自适应阈值处理技术对注视热力图进行预处理，随后由专业标注人员通过边界追踪方式对图像中的显著性对象进行精细化标注。整个标注流程经过三轮迭代与专家质量校验，最终形成了包含1165个显著性对象的对象级与实例级双重标注体系，其中特别保留了9张无显著性对象的图像以避免传统数据集的固有偏差。

特点

该数据集在360度全景视觉显著性研究领域展现出鲜明的特征优势。其核心特征体现在采用注视点引导的标注范式，通过真实眼动数据与人工标注的深度融合，确保了标注结果符合人类视觉认知规律。数据集涵盖52幅室内场景与55幅室外场景，呈现了72个对象类别共1165个显著性实例，全面覆盖人物、文本、交通工具、建筑结构、艺术作品、动物及日常物品七大现实场景维度。技术层面，所有图像均采用2048×1024分辨率的等距柱状投影格式，并创新性地提供了对象级与实例级双重语义标注，其中实例级标注为全景显著性检测领域首创。数据集的复杂性通过注视点一致性分析与熵值计算得以量化，为模型评估提供了认知科学依据。

使用方法

该数据集为全景显著性对象检测模型的开发与评估提供了标准化实验框架。研究团队将数据集划分为包含68幅图像的训练集（F-360iSOD-train）以及两个分别包含17幅和22幅图像的测试集（F-360iSOD-testA/B），支持跨数据集验证实验。针对全景图像的特性，采用多角度立方体投影技术对训练集图像进行数据增强，通过水平与垂直方向的多角度旋转生成3672个二维图像块作为模型输入。评估体系整合了五项主流显著性检测指标：加权Fβ测度、平均绝对误差、结构相似性测度以及增强对齐测度曲线，其中结构相似性测度针对全景图像中小尺度对象分布特性调整了权重参数。实验表明，现有二维显著性检测模型在该数据集上表现受限，揭示了全景图像中投影畸变、小尺度对象及复杂场景带来的特殊挑战。

背景与挑战

背景概述

随着虚拟现实技术的蓬勃发展，全景图像因其能够捕捉360×180度完整视野范围而成为计算机视觉领域的研究热点。在此背景下，法国雷恩国立应用科学学院IETR实验室的研究团队于2020年推出了F-360iSOD数据集，旨在填补全景图像中显著物体检测领域的数据空白。该数据集包含107张具有挑战性的真实场景全景图像，并基于人类眼动注视点数据，手工标注了1,165个具有像素级掩码的显著物体，涵盖72个物体类别。F-360iSOD的构建不仅推动了全景视觉显著性研究的发展，还为深入理解虚拟环境中的人类观察行为提供了关键数据支持。

当前挑战

F-360iSOD数据集所针对的全景显著物体检测任务面临多重挑战。在领域问题层面，全景图像通常包含更丰富的场景和大量前景物体，导致显著与非显著物体的区分难度显著增加；同时，等距柱状投影引入的几何畸变、小尺寸物体的普遍存在以及复杂背景干扰，均对现有检测模型的鲁棒性提出了严峻考验。在数据集构建过程中，研究团队需克服标注一致性的难题，通过融合眼动注视点数据来指导人工标注，以真实反映人类注意力分布；此外，还需避免传统数据集中“每张图像至少包含一个显著物体”的假设偏差，特意保留了无显著物体的图像样本，以提升数据集的代表性和泛化能力。

常用场景

经典使用场景

在虚拟现实与全景视觉分析领域，F-360iSOD数据集为显著物体检测研究提供了关键基准。该数据集通过结合人类眼动注视点数据，对107幅全景图像中的1,165个显著物体进行了像素级标注，覆盖室内外复杂场景。其经典使用场景在于评估和优化现有二维显著物体检测模型在全景图像上的泛化能力，研究者常利用其进行跨数据集测试，以揭示模型在应对投影畸变、小目标及复杂背景时的局限性。

衍生相关工作

F-360iSOD数据集的推出催生了一系列针对全景显著物体检测的改进模型与方法。例如，研究者基于该数据集提出了多立方体投影微调策略，以适配二维模型在全景图像上的处理需求。后续工作进一步探索了结合深度信息的多模态显著性检测，以及利用生成对抗网络进行全景视觉显著性预测。这些衍生研究不仅丰富了360度视觉分析的技术体系，也为全景图像分割、注意力预测等相关领域提供了新的研究方向。

数据集最近研究

最新研究方向

在虚拟现实与全景视觉分析领域，F-360iSOD数据集作为首个基于眼动注视点的360度显著物体检测基准，正推动着全景显著物体检测的前沿探索。该数据集通过结合真实人类注视图指导像素级标注，揭示了传统二维显著物体检测模型在全景图像中面临的挑战，如等距柱状投影畸变、小物体识别及复杂场景干扰。当前研究聚焦于开发适应全景特性的深度学习架构，利用多立方体投影微调策略提升模型泛化能力，并探讨实例级语义标注在场景理解与图像描述等实际应用中的潜力。这一方向不仅促进了沉浸式内容分析技术的发展，也为理解人类在虚拟环境中的视觉注意力机制提供了关键数据支撑。

相关研究论文

• A Fixation-based 360° Benchmark Dataset for Salient Object Detection

  IETR INSA Rennes, 法国 · 2020年