five

LEVI

收藏
arXiv2026-01-09 更新2026-01-10 收录
下载链接:
https://ntuneillee.github.io/research/rl-awb/
下载链接
链接失效反馈
官方服务:
资源简介:
LEVI是由国立阳明交通大学等机构构建的首个多相机夜间数据集,包含700张来自两种传感器的低光照图像。该数据集通过采集真实夜间场景的RAW格式图像,覆盖复杂光照条件和噪声干扰,旨在解决传统白平衡算法在跨传感器部署时存在的色彩偏移问题。数据创建过程严格匹配不同相机硬件特性,为色彩恒常性研究提供了首个标准化夜间跨传感器评估基准,主要应用于计算摄影、监控系统及车载影像的鲁棒性白平衡算法开发。

LEVI is the first multi-camera nighttime dataset constructed by National Yang Ming Chiao Tung University and other institutions, which comprises 700 low-light images acquired from two distinct sensor types. By collecting RAW-format images of real nighttime scenarios, this dataset covers complex lighting conditions and noise disturbances, and is designed to address the color shift issue faced by traditional white balance algorithms during cross-sensor deployment. The data creation process strictly aligns with the hardware specifications of different camera models, providing the first standardized nighttime cross-sensor evaluation benchmark for color constancy research. It is primarily utilized for the development of robust white balance algorithms in computational photography, surveillance systems and in-vehicle imaging applications.
提供机构:
联发科技股份有限公司; 国立台湾大学; 国立阳明交通大学
创建时间:
2026-01-09
原始信息汇总

RL-AWB 数据集概述

数据集名称

RL-AWB / LEVI (Low-light Evening Vision Illumination)

核心描述

RL-AWB 是首个将强化学习集成到夜间自动白平衡中的框架。它通过将自动白平衡(AWB)构建为一个顺序决策问题,从根本上区别于现有范式,使强化学习智能体能够学习针对新型统计光照估计器的自适应参数选择策略。

主要贡献

  • SGP-LRD算法:提出一种针对夜间场景的颜色恒常性算法(Salient Gray Pixels with Local Reflectance Differences),在公开夜间基准测试中实现了最先进的光照估计。
  • RL-AWB框架:设计了结合Soft Actor-Critic(SAC)训练和两阶段课程学习的RL-AWB框架,能够以极高的数据效率实现针对每张图像的自适应参数优化。
  • LEVI数据集:贡献了首个多相机夜间数据集(Low-light Evening Vision Illumination),包含来自两个传感器的700张图像,支持严格的跨传感器颜色恒常性评估。
  • 实验效果:大量实验证明,该方法在仅使用每个数据集5张训练图像的情况下,仍能实现优于最先进方法的跨传感器泛化能力。

LEVI 数据集详情

  • 目的:为支持跨传感器评估而创建,是首个多相机夜间基准数据集。
  • 规模:包含700张线性RAW图像。
  • 图像来源
    • iPhone 16 Pro:图像编号 #1–370,分辨率 4320×2160,12位。
    • Sony ILCE-6400:图像编号 #371–700,分辨率 6000×4000,14位。
  • 拍摄条件:ISO范围从500到16,000,捕捉了具有复杂混合照明、低照度和高ISO条件的多样化夜间场景。
  • 标注信息:每个场景包含一个麦克白色卡(Macbeth Color Checker),并带有手动标注。真实光照值计算为非饱和消色差色块的中值RGB值。
  • 数据预处理:所有图像均经过黑电平校正并转换为线性RGB。
  • 对比与特点:相较于已有的单一相机NCC数据集(513张图像),LEVI数据集覆盖了更广泛的光照条件,包含了更多低亮度夜间图像,为低光颜色恒常性评估提供了新的基准。

方法概述

RL-AWB框架工作流程如下:

  1. 输入:给定输入图像。
  2. 估计:夜间颜色恒常性算法SGP-LRD根据两个超参数(灰度像素采样百分比N和闵可夫斯基阶数p)估计场景光照。
  3. 决策:SAC智能体基于图像统计信息和当前AWB设置选择参数更新动作。
  4. 输出与更新:策略为每个参数输出一个动作;动作被采样,通过tanh函数压缩到[−1, 1]范围,并重新缩放到有效区间。重新缩放后的动作用于更新两个超参数,并应用于SGP-LRD以产生光照估计。
  5. 迭代:重复此过程,直到满足终止条件。

性能评估

  • 评估指标:主要使用角度误差(Angular error,单位为度)进行评估。
  • 数据集内评估:在NCC和LEVI数据集上进行了评估。
  • 跨数据集评估:在NCC和LEVI数据集之间进行了交叉评估。实验设置包括仅使用每个数据集5张图像进行训练的少样本设置(𝐶5 (5)),以及使用数据集中所有可用训练图像的原版3折协议(𝐶5 (full))。
  • 泛化能力:在Gehler-Shi数据集上的评估表明,与SGP-LRD相比,RL-AWB框架将中值角度误差降低了5.9%,将最佳25%角度误差降低了9.8%,证明RL-AWB在低光和良好光照图像上均具有良好的泛化能力。
  • 定性比较:提供了跨数据集性能的定性比较结果。
搜集汇总
数据集介绍
main_image_url
构建方式
在低光照夜间色彩恒常性研究领域,数据集的构建面临着光照复杂与传感器差异的双重挑战。LEVI数据集作为首个多传感器夜间基准,其构建过程体现了严谨的科学设计。研究团队采用iPhone 16 Pro与Sony ILCE-6400两款相机系统,在真实夜间环境中采集了总计700幅线性RAW格式图像。为确保光照真值的精确性,每幅场景均放置了经过手动标注的麦克白色彩校验卡,并通过计算非饱和消色差色块的中值RGB值来获取光照地面真值。所有图像均经过黑电平校正并转换为线性RGB空间,从而为跨传感器评估提供了可靠且标准化的数据基础。
特点
LEVI数据集的核心特征在于其开创性地涵盖了多传感器数据,为夜间色彩恒常性研究提供了前所未有的评估维度。该数据集不仅包含了从500至16000的广泛ISO范围,以覆盖不同程度的低光与噪声条件,其图像在光照与亮度分布上也展现出与现有单传感器数据集(如NCC)的显著差异,从而更全面地反映了真实夜间场景的复杂性。尤为重要的是,数据集提供了每幅图像的详尽元数据,包括焦距、光圈、曝光时间与ISO设置,这为深入分析相机参数与算法性能的关联创造了条件,极大地促进了跨传感器泛化能力的研究。
使用方法
该数据集主要用于推动低光环境下自动白平衡算法的研发,特别是评估模型在跨相机传感器间的泛化鲁棒性。研究人员可将数据集划分为训练集与测试集,用于训练和验证如RL-AWB等结合统计方法与强化学习的混合模型。在评估时,标准流程包括使用数据集中提供的光照地面真值,计算估计光照与真值之间的角度误差作为核心性能指标。此外,其多传感器特性支持严格的交叉评估实验设计,例如将在iPhone数据上训练的模型直接应用于Sony数据,以检验算法对未知传感器特性的适应能力,这对于移动摄影、监控系统等实际应用至关重要。
背景与挑战
背景概述
在计算摄影学领域,夜间色彩恒常性因低光照噪声与复杂照明条件而长期面临严峻挑战。为应对这一难题,研究团队于2026年推出了LEVI数据集,作为首个专为跨传感器评估设计的夜间多相机基准。该数据集由联发科技、国立台湾大学与国立阳明交通大学的研究人员共同构建,核心目标在于解决传统自动白平衡算法在夜间场景中因统计假设失效而导致的照明估计不稳定问题。LEVI包含700张来自iPhone 16 Pro与Sony ILCE-6400相机的线性RAW图像,覆盖ISO 500至16000的广泛低光条件,并通过标准色卡提供精确的照明真值标注。数据集的建立显著推动了低光色彩恒常性研究,为评估算法在真实跨传感器场景中的泛化能力提供了关键基础设施。
当前挑战
LEVI数据集所应对的核心领域挑战在于夜间自动白平衡的鲁棒性提升。传统统计方法依赖的灰度像素检测在低信噪比条件下完全失效,而深度学习模型则面临跨传感器部署时严重的泛化退化问题。数据集的构建过程同样充满挑战:夜间场景的极端低照度与混合光源环境使得高质量真值获取异常困难,需要精确的色卡标注与复杂的图像预处理流程;同时,协调多相机系统以获取光谱响应与ISP配置各异的图像数据,并确保照明条件与场景内容的多样性,进一步增加了数据集构建的技术复杂度。这些挑战共同凸显了夜间色彩恒常性研究在数据基础与算法设计上的双重瓶颈。
常用场景
经典使用场景
在计算摄影学领域,LEVI数据集作为首个多传感器夜间色彩恒常性基准,为研究低光照条件下自动白平衡算法的鲁棒性提供了关键支持。该数据集通过整合iPhone 16 Pro与Sony ILCE-6400两种相机系统采集的700张线性RAW图像,覆盖了从城市夜景到自然暗光环境的多样化场景,其ISO范围跨越500至16000,精准模拟了真实夜间拍摄中复杂的光照与噪声条件。经典使用场景集中于评估和比较不同色彩恒常性方法在跨传感器环境下的性能,尤其侧重于分析算法在极端低照度与混合光源下的泛化能力,为夜间图像信号处理(ISP)管线的优化奠定了实证基础。
衍生相关工作
LEVI数据集的发布催生了一系列围绕夜间色彩恒常性的创新研究。以RL-AWB框架为代表,该工作首次将深度强化学习引入白平衡参数调优,启发了后续如自适应掩码学习与噪声感知奖励机制等方向。同时,数据集支撑了跨传感器域适应方法的比较分析,促进了如多域架构与测试时自适应等技术的演进。在算法层面,基于LEVI的评估推动了统计模型与深度学习融合的混合范式发展,例如通过展开优化或超参数预测来增强传统方法的适应性,为低光照图像处理领域注入了新的研究活力。
数据集最近研究
最新研究方向
在计算摄影领域,夜间低光照条件下的自动白平衡(AWB)校正一直是极具挑战性的研究方向。LEVI数据集作为首个多传感器夜间色彩恒常性基准,其最新研究聚焦于结合深度强化学习与统计方法的混合框架,以应对复杂照明和显著噪声带来的传统算法失效问题。前沿工作如RL-AWB通过将白平衡参数优化建模为序列决策过程,利用智能体动态调整统计估计算法的超参数,实现了无需先验光照真值且具备卓越跨传感器泛化能力的快速自适应校正。这一方向不仅推动了低光图像处理的技术边界,也为移动摄影、监控系统等实际应用提供了鲁棒性更强的解决方案,标志着色彩恒常性研究从固定参数启发式方法向感知环境智能调优的重要演进。
相关研究论文
  • 1
    RL-AWB: Deep Reinforcement Learning for Auto White Balance Correction in Low-Light Night-time Scenes联发科技股份有限公司; 国立台湾大学; 国立阳明交通大学 · 2026年
以上内容由遇见数据集搜集并总结生成
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作