Temporal Color Constancy (TCC) dataset

Temporal Color Constancy (TCC)数据集是由坦佩雷大学的学生在自由时间内使用华为Mate 20 Pro手机收集的，包含600个不同长度的真实世界序列，覆盖室内外多种天气和光照条件，是目前最大的真实时序数据集。数据集的创建过程涉及使用特定的手机设置自动存储原始传感器图像，并通过日期和时间标签与拍摄帧关联。该数据集主要用于评估时序颜色恒常性方法，旨在解决传统单帧颜色恒常性方法的局限性，通过多帧序列提高场景光照颜色的估计准确性。The Temporal Color Constancy (TCC) dataset was collected by students from Tampere University during their free time using the Huawei Mate 20 Pro smartphone. It contains 600 real-world sequences of varying lengths, covering diverse indoor and outdoor weather and lighting conditions, making it the largest real-world temporal dataset to date. The dataset creation process involved automatically storing raw sensor images with specific smartphone settings and associating each captured frame with its corresponding date and time stamp. This dataset is primarily used to evaluate temporal color constancy methods, aiming to address the limitations of traditional single-frame color constancy approaches and improve the estimation accuracy of scene illumination color via multi-frame sequences.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，色彩恒常性研究旨在消除光照变化对图像色彩感知的影响，而Temporal Color Constancy (TCC) 数据集的构建正是为了推动多帧色彩恒常性方法的发展。该数据集通过华为Mate 20 Pro手机采集，手机经过root处理并重新编程，在相机应用启动时自动存储原始传感器图像。采集过程中，参与者自由拍摄室内外场景，涵盖不同天气和日光条件，每个序列包含3至17帧图像，分辨率高达3648×2736。为避免可见校准目标对学习方法的潜在干扰，采用SpyderCube灰色表面校准目标，在拍摄后立即置于场景中，通过手动标注中性灰色表面计算真实光照颜色，最终收集并验证了600个序列，确保了数据的多样性和真实性。

特点

TCC数据集作为当前最大的现实多帧色彩恒常性基准，其特点体现在多个维度。数据集包含600个高分辨率序列，覆盖广泛的室内外环境，光照条件多样，从日常光照到复杂天气变化，真实模拟了消费者摄影场景。序列长度可变，平均长度为7.3帧，增强了数据的动态性和实用性。与现有数据集相比，TCC避免了可见校准目标的使用，减少了学习方法可能依赖的意外线索，提升了评估的公平性。此外，数据集的色度分布与主流单帧基准如Gehler-Shi和NUS相似，确保了与现有研究的可比性，同时通过固定训练测试划分，为方法比较提供了稳定框架。

使用方法

TCC数据集的使用方法旨在支持多帧色彩恒常性算法的开发与评估。研究人员可通过公开的项目页面获取数据集，其中提供线性去马赛克后的PNG格式图像，像素值归一化至[0,1]，无饱和像素，便于直接处理。数据集采用固定训练测试划分，确保评估一致性，主要性能指标为角误差，计算估计光照向量与真实向量之间的角度差，并报告均值、中位数和Trimean等统计量。使用时可结合提供的基线方法TCC-Net，这是一个基于SqueezeNet和2D LSTM的端到端网络，支持可变长度序列输入，并实现了快速推理。此外，数据集还包含对其他数据集如NUS的包装功能，方便跨数据集实验，促进新方法的公平比较和创新。

背景与挑战

背景概述

在计算机视觉领域，色彩恒常性旨在使成像系统在不同光照条件下感知物体真实颜色的能力，其算法是数字相机图像信号处理流程的核心组件。传统方法多基于单帧图像进行光照估计，而时序色彩恒常性则利用取景器序列中的多帧信息，更贴近实际摄影过程。由坦佩雷大学、华为坦佩雷研究中心及捷克技术大学的研究团队于2020年创建的Temporal Color Constancy数据集，正是为填补该领域缺乏大规模真实场景评估数据的空白而生。该数据集包含600个使用高端手机拍摄的高分辨率序列，覆盖多样化的室内外环境与光照条件，其创立推动了从静态单帧到动态多帧估计的范式转变，为色彩恒常性研究提供了至关重要的基准平台。

当前挑战

该数据集致力于解决时序色彩恒常性这一核心问题，其挑战在于如何有效融合视频序列中的时空信息以提升光照估计的精度与鲁棒性，超越传统单帧方法的局限。在构建过程中，研究团队面临多重困难：其一，需在真实用户摄影场景中采集高质量多帧数据，同时避免校准目标在画面中出现以免向学习算法泄露线索；其二，移动设备在高速传输高分辨率原始传感器图像时，帧率受到硬件限制，仅为每秒1-3帧；其三，标注真实光照色彩需在拍摄后即时置入灰色校准物体（SpyderCube），并手动验证所有序列，确保地面真值的准确性。这些挑战使得数据集的创建成为一项耗费大量人力与技术的系统工程。

常用场景

经典使用场景

在计算摄影与计算机视觉领域，色彩恒常性研究致力于使机器视觉系统能够像人类视觉一样，在不同光照条件下准确感知物体真实颜色。Temporal Color Constancy (TCC) 数据集作为首个大规模、高分辨率的时序色彩恒常性基准，其经典使用场景集中于评估和比较各类时序色彩估计算法的性能。该数据集通过提供600个真实世界拍摄序列，每个序列包含取景器连续帧至拍摄帧的完整时序信息，使研究者能够系统分析多帧信息融合对光照估计精度的提升效果。其固定训练测试划分确保了评估的一致性，为时序色彩恒常性这一新兴方向建立了可靠的实验平台。

解决学术问题

传统色彩恒常性研究长期受限于单帧估计范式，难以模拟真实拍摄中相机连续调整白平衡的动态过程。TCC 数据集有效解决了多帧色彩恒常性缺乏大规模真实数据基准的核心问题，打破了以往依赖合成数据或小规模视频数据集（如SFU Gray Ball）的局限。该数据集通过提供覆盖室内外多种光照条件的真实拍摄序列，支持研究者深入探索时序信息在光照估计中的价值，验证了利用取景器帧序列能够显著提升最终拍摄帧的色彩校正精度。其建立推动了色彩恒常性研究从静态图像分析向动态时序建模的范式转变。

衍生相关工作

TCC 数据集的发布催生了一系列围绕时序色彩恒常性的创新研究。其提出的TCC-Net基线模型，融合了SqueezeNet骨干网络与二维长短期记忆网络（2D-LSTM），成为该领域的经典架构参考。后续工作在此基础上进一步探索了更高效的网络设计、跨数据集泛化能力以及低功耗移动端部署方案。该数据集也促进了传统单帧方法（如灰度世界、灰度像素）的时序扩展研究，并启发了对视频色彩恒常性、动态场景光照估计等更广泛课题的深入探讨，为计算摄影与计算机视觉的交叉研究提供了宝贵的资源与方向。