补充的light field datasets

该数据集补充了焦点堆栈、深度图和多视角图像，用于统一和完善现有的光场显著性对象检测数据集，使其更加一致和可用。

This dataset augments existing light field saliency object detection datasets with focus stacks, depth maps and multi-view images, aiming to unify and refine them to be more consistent and usable.

原始信息汇总

数据集概述

数据集内容

光场数据

• 多视图图像和焦堆栈：包含Lytro Illum相机的多视图图像和焦堆栈的GIF动画。

光场显著物体检测（LFSOD）

• 传统模型：提供了13种传统LFSOD模型的详细信息，包括模型名称、发表年份、出版物、标题和链接。
• 基于深度学习的模型：提供了29种基于深度学习的LFSOD模型的详细信息，包括模型名称、发表年份、出版物、标题和链接。
• 其他相关综述工作：提供了2种与LFSOD相关的综述和调查的详细信息。

光场SOD数据集

• 数据集概览：提供了8个光场SOD数据集的详细信息，包括数据集名称、发表年份、出版物、大小、多对象比例、数据形式（如焦堆栈、多视图图像、深度图等）和下载链接。

基准测试结果

• RGB-D SOD模型在我们的测试中：提供了7种RGB-D SOD模型的详细信息，包括模型名称、发表年份、出版物、标题和链接。

数据集更新记录

• 2020/12/6：发布光场数据集信息。
• 2021/1/23：发布评估表中所有模型的显著图。
• 2021/3/6：新增光场数据集和光场显著物体检测工作。
• 2021/7/22：更新讨论和开放方向部分，更新显著结果，新增传统模型和基于深度学习的模型进行比较。
• 2021/8/6：新增光场显著物体检测工作。
• 2022/3/22：新增多个光场显著物体检测工作和数据集。
• 2023/6/1：新增多个光场显著物体检测工作。

数据集引用

• 引用信息：提供了数据集的引用信息，具体内容未在提供的文本中展示。

搜集汇总

数据集介绍

构建方式

鉴于现有光场显著性目标检测数据集在数据形式上存在不一致性，例如部分数据集缺失焦点堆栈、深度图或多视角图像，本研究对既有数据集进行了系统性补充与统一化处理。具体而言，对于Lytro Illum数据集，利用其原始光场数据，通过Lytro Desktop软件生成焦点堆栈（含全聚焦图像）与深度图，并依据场景焦点范围等间距采样，去除全模糊或重复切片，最终每场景生成2至16张焦点切片。同时，从微透镜图像阵列中采样生成多视角图像。对于LFSD数据集，同样基于原始数据补全了多视角图像与微透镜图像阵列。对于HFUT-Lytro数据集，则通过逆向操作合成了微透镜图像阵列。这一过程使得所有数据集均统一提供焦点堆栈、深度图、多视角图像及微透镜图像阵列，为全面基准测试奠定了基础。

特点

该补充数据集的核心特点在于其全面性与统一性。通过为LFSD、HFUT-Lytro、Lytro Illum等数据集补全缺失的数据形式，成功构建了一个包含焦点堆栈、深度图、多视角图像及微透镜图像阵列的完整数据体系。这一举措有效解决了此前因数据形式不统一而导致的模型评估困难，使得基于不同输入形式（如焦点堆栈或多视角图像）的显著性检测模型均能在同一数据集上进行公平比较。此外，补充后的数据集在规模上虽仍显有限（如Lytro Illum包含640个场景），但其数据形式的完备性显著提升了作为基准测试的实用价值，为后续研究提供了标准化的评估平台。

使用方法

该补充数据集的使用方式灵活多样，旨在支持各类光场显著性目标检测模型的训练与评估。研究者可根据模型输入需求，选择相应的数据形式进行使用。例如，基于焦点堆栈的模型（如MoLF、ERNet）可直接加载生成的焦点堆栈与全聚焦图像；基于多视角图像的模型（如DLSD）则可利用补全的多视角数据。所有补充数据均已公开于项目网站（https://github.com/kerenfu/LFSOD-Survey），便于直接下载与集成。在评估时，建议采用统一的测试协议，如使用DUTLF-FS的官方训练/测试划分（1000/462），或对无官方划分的数据集（如LFSD、HFUT-Lytro）进行全量评估，以确保结果的可比性与可复现性。

背景与挑战

背景概述

光场显著目标检测（Light Field Salient Object Detection）是计算机视觉领域一个新兴且富有潜力的研究方向，旨在利用光场数据所蕴含的丰富场景信息，包括聚焦度、深度及多视角线索，来提升对图像中显著目标的识别与分割能力。相较于传统的基于RGB图像或RGB-D图像的显著目标检测，光场数据能够提供更为全面和完整的自然场景表征，从而在应对复杂背景、低对比度及遮挡等挑战性场景时展现出显著优势。该领域的开创性工作可追溯至2014年Li等人提出的LFS模型及配套的LFSD数据集，随后以四川大学、大连理工大学、南开大学等为代表的国内外研究机构陆续构建了HFUT-Lytro、DUTLF-FS、DUTLF-MV及Lytro Illum等数据集，并提出了十余种传统及深度学习模型。然而，由于光场数据的多模态特性及采集硬件的特殊性，该领域长期缺乏系统性的综述与基准评估，限制了其进一步发展。Fu等人于2021年发表的综述论文首次对光场SOD进行了全面回顾与基准测试，并通过补充缺失的数据形式（如聚焦堆栈、深度图及多视角图像）实现了数据集的统一化，为后续研究奠定了坚实基础。

当前挑战

光场显著目标检测面临多重挑战。首先，现有数据集规模有限且数据形式不统一，例如Lytro Illum缺乏聚焦堆栈，而DUTLF-FS仅提供聚焦堆栈，这使得模型跨数据集评估极为困难，亟需大规模、多模态统一的基准数据集。其次，光场数据的多变量特性导致模型设计复杂，现有深度学习模型多依赖聚焦堆栈作为输入，而对多视角图像和微透镜图像阵列的探索尚不充分，相关模型性能显著低于基于聚焦堆栈的方法。此外，深度图质量参差不齐，从光场中精确估计深度本身即为一项难题，不精确的深度图会直接损害检测精度。在构建过程中，光场数据采集依赖昂贵的专用硬件（如Lytro相机），且原始数据体积庞大（如Lytro Illum的640个光场占用32.8GB），给数据存储、传输与共享带来巨大障碍。同时，现有模型普遍缺乏边缘感知能力，生成的显著图边界粗糙，难以满足像素级分割任务的高精度要求。最后，训练数据的匮乏使得模型泛化能力受限，亟需探索弱监督或半监督学习策略以缓解标注负担。

常用场景

经典使用场景

在计算机视觉领域，光场显著目标检测（SOD）作为一项基础性任务，其核心在于利用光场数据所蕴含的丰富场景信息，如焦点堆栈、深度图、多视角图像及微透镜图像阵列，来精确识别并分割出图像中最引人注目的区域。该数据集为研究者提供了一个统一且完备的基准平台，使得不同模态的光场数据得以被系统性地评估与比较，从而推动了从传统手工特征方法向深度学习模型的范式转变。其经典的使用场景涵盖了对复杂背景、低对比度以及多目标场景下的显著目标检测，为算法性能的全面验证提供了坚实的数据基础。

实际应用

在实际应用层面，该数据集所支撑的光场显著目标检测技术展现出广阔的应用前景。例如，在沉浸式通信技术（如Google Project Starline）中，光场SOD可用于实时三维成像与数据压缩，提升远程交互的真实感与效率。此外，该技术还可赋能自动驾驶中的障碍物感知、智能监控中的异常事件检测、以及增强现实中的场景理解与交互。通过提供高质量的多模态光场数据，该数据集使得算法能够在复杂光照、遮挡和纹理条件下保持鲁棒性，从而推动这些实际系统从实验室走向产业化部署，显著提升用户体验与系统可靠性。

衍生相关工作

基于该数据集，学术界衍生了一系列具有代表性的经典工作，极大地丰富了光场显著目标检测的研究体系。这些工作涵盖了从传统模型（如LFS、DILF、WSC）到深度学习模型（如DLLF、MoLF、ERNet、LFNet、DLSD、MAC）的完整演进路径，其中深度学习模型通过引入注意力机制、知识蒸馏、记忆导向解码器及多任务协作网络等创新架构，显著提升了检测精度。此外，该数据集还促进了光场SOD与RGB-D SOD之间的交叉比较与融合，催生了如JLDCF、SSF、ATSA等RGB-D模型的适应性改进，并启发了对多视角图像与微透镜图像阵列潜力的深入探索，为未来边缘感知、弱监督学习及高分辨率检测等方向的研究奠定了坚实基础。