colorbench-stratified-split

该数据集是一个多模态问答数据集，包含图像和文本两种数据类型。数据结构包含15个字段：样本索引(idx)、唯一标识(id)、类型(type)、任务类型(task)、文件名(filename)、图像数据(image)、提示文本(prompt)、问题文本(question)、选项列表(choices)、答案(answer)、图像URL(image_url)、图像类型(image_type)、分层键(stratify_key)、ICAM图像(icam_image)及其亮度调整版本(icam_image_lum_100)。数据集分为训练集（5,296个样本，约11GB）和验证集（589个样本，约1.1GB）两个部分，总大小约12.2GB。从字段设计推断，该数据集适用于视觉问答(VQA)、多模态理解等任务，可能包含注意力热图(ICAM)相关的视觉解释功能。

原始信息汇总

数据集概述：colorbench-stratified-split

该数据集是用于评估颜色视觉基准的分层划分版本，旨在为颜色相关任务提供标准化的训练与验证数据。

数据集结构与特征

数据集包含以下字段：

字段名	类型	说明
idx	int64	索引编号
id	int64	样本唯一标识
type	string	数据类型
task	string	任务类型
filename	string	文件名
image	image	原始图像
prompt	string	提示文本
question	string	问题描述
choices	list of string	选项列表
answer	string	正确答案
image_url	string	图像来源URL
image_type	string	图像类型
stratify_key	string	分层键（用于分层划分）
icam_image	image	基于iCAM模型处理的图像
icam_image_lum_100	image	亮度归一化至100的iCAM图像

数据集划分与规模

数据集包含两个划分：

划分	样本数量	数据大小
训练集 (train)	5,296 条	约11.03 GB
验证集 (validation)	589 条	约1.13 GB
合计	5,885 条	约12.16 GB

• 训练集数据文件路径：data/train-*
• 验证集数据文件路径：data/validation-*

关键信息

• 数据集名称：colorbench-stratified-split（颜色基准分层划分）
• 发布方：pavlov-erg
• 数据用途：面向颜色视觉相关的图像理解任务评估，尤其关注基于iCAM颜色适应模型的图像处理效果
• 特点：通过stratify_key字段实现分层抽样，确保训练与验证集在各子类别上的分布一致性；提供经iCAM模型处理的图像变体，适合研究颜色感知与亮度适应

搜集汇总

数据集介绍

构建方式

colorbench-stratified-split数据集是基于ColorBench基准精心构建的层次化划分版本，旨在评估多模态大模型在色彩感知与理解任务上的表现。该数据集通过引入分层抽样策略，依据图像类别、任务类型等关键特征对原始数据进行均衡划分，最终形成包含5296个训练样本和589个验证样本的两大子集。每条数据涵盖图像、提示词、问题、选项、正确答案及图像元信息等丰富字段，尤为独特的是，数据集专门提供了通过iCAM模型处理得到的视觉感知图像（icam_image）及其亮度归一化版本（icam_image_lum_100），为研究色彩恒常性与底层视觉机制提供了关键支撑。

特点

该数据集的突出特点在于其精细的分层结构与多维语义标注。首先，stratify_key字段确保了不同色彩任务场景在训练与验证集中分布均匀，从而避免了传统随机划分可能引入的偏差。其次，数据集中同时保留了原始图像和模拟人类视觉感知的iCAM处理图像，这一设计使得研究者能够直接从信号层面对比模型输出与人眼感知差异。此外，choice-style的选择题格式不仅考验模型的色彩辨别能力，还为其在色彩条件下游任务中的鲁棒性评估提供了标准化模板。这些特性共同赋予了colorbench-stratified-split在色彩智能评测领域独一无二的研究价值。

使用方法

使用该数据集时，研究者可直接通过Hugging Face Datasets库加载预定义划分，采用'default'配置读取train与validation两个分片。每一条数据以图像-文本对的形式呈现，模型需根据给定图像与问题，从choices列表中选择唯一正确答案。为充分挖掘数据集潜力，建议同时利用原始图像与iCAM感知图像进行多通道输入或对比实验，以探究色彩信息在模型内部传递与处理机理。此外，stratify_key字段可辅助进行分组分析或构建更加精细的交叉验证方案，从而系统评估模型对不同色彩属性的适应能力。

背景与挑战

背景概述

在计算机视觉与自然语言处理交叉领域，视觉语言模型（VLM）的感知能力评估日益受到关注。ColorBench-Stratified-Split数据集由研究人员于2024年创建，旨在系统性地评估模型对颜色与空间关系的理解能力。该数据集包含5296个训练样本和589个验证样本，每个样本均包含图像、多选问题及标准答案，并特别提供了图像的颜色分层掩码（icam_image）以支撑细粒度分析。其核心研究问题聚焦于VLM在颜色感知任务上的表现，如颜色命名、比较与空间关系推理。通过引入分层分割策略，该数据集为公平评价不同模型在颜色相关任务上的性能提供了基准，对推动VLM在真实场景中的应用具有重要意义。

当前挑战

ColorBench-Stratified-Split数据集面临的核心挑战在于解决视觉语言模型对颜色感知的鲁棒性与精确性问题。在领域问题层面，现有VLM常因光照、阴影或物体纹理干扰，难以准确区分相似色调或完成跨图像的颜色比较，该数据集通过结构化任务设计（如颜色定位、相对颜色判断）暴露了这些盲区。在构建过程中，主要挑战包括：1）确保颜色标注的客观性与一致性，需在多种光照条件下获取图像并校准人类标注者的判断；2）设计有效的分层分割策略，使不同难度级别的样本能够反映模型在颜色处理上的细微差异；3）平衡数据集中颜色类别的分布，避免模型因数据偏差而产生虚假关联。这些挑战共同构成了评估与改进VLM颜色感知能力的基石。

常用场景

经典使用场景

在计算机视觉与色彩科学交叉领域，colorbench-stratified-split数据集凭借其精细的分层抽样策略脱颖而出。该数据集将图像按颜色属性、任务类型等关键变量进行结构化划分，专为评估和训练颜色感知模型而设计。经典使用场景涵盖基于颜色恒常性的图像白平衡校正、光照估计算法验证、以及色彩迁移质量评测等任务。研究者常利用其分层划分特性，在控制变量条件下系统分析模型对不同颜色分布、光照条件的鲁棒性。此外，该数据集提供的原始图像与经光照归一化处理的ICAM图像对照，为设计颜色不变性特征提取方法提供了标准化基准。

解决学术问题

colorbench-stratified-split数据集直面色彩研究领域长期存在的两大痛点：缺乏标准化的分层评测基准以及颜色数据分布不均衡问题。通过引入分层抽样策略，该数据集有效解决了传统颜色数据集因样本结构单一而导致的模型泛化评估偏差，使得不同色调、饱和度、明度区间内的模型性能可被公平比较。它还为研究颜色恒常性算法在不同光照场景下的退化模式提供了可控实验环境，推动了色彩自适应模型的理论发展。该数据集的发布显著促进了学术社区对颜色表征学习与光照无关特征提取等课题的深入探索，其分层设计范式也成为后续构建领域特定评测集的重要参考。

衍生相关工作

colorbench-stratified-split数据集自推出以来，激励了一系列衍生研究工作。研究者基于其分层结构开发了针对颜色恒常性的多任务学习框架，将光照估计与白平衡校正联合优化，取得了超越单一任务方法的性能。另有一些工作利用该数据集中的ICAM图像对照，探索色彩感知的空间与频率特性，提出了融合视网膜机制的颜色增强网络。在模型可解释性方面，该数据集被用于分析深度网络对颜色特征的编码模式，衍生出色彩注意力可视化方法。此外，其分层划分思想启发了多个领域特定数据集的构建，如医学病理图像颜色标准化数据集和遥感图像色彩校正数据集，推动了跨领域颜色分析技术的标准化进程。