Compressed Feature Quality Assessment Dataset

该数据集由新加坡南洋理工大学的研究团队创建，旨在评估压缩特征的质量。数据集包含300个原始特征和12000个压缩特征，这些特征来自三个视觉任务（分类、分割、深度估计）和四种特征编解码器。数据集提供了跨任务、比特率和编解码器的语义退化定量分析。同时，每个压缩特征都提供了任务特定的语义退化标签，作为训练和评估质量指标的真实标签。该数据集有助于推动压缩特征质量评估（CFQA）领域的研究，并为社区提供了一个探索CFQA的基础资源。

This dataset was developed by a research team from Nanyang Technological University, Singapore, with the core objective of assessing the quality of compressed features. It contains 300 original features and 12,000 compressed features derived from three vision tasks (classification, segmentation, and depth estimation) and four feature codecs. The dataset enables quantitative analyses of semantic degradation across tasks, bit rates, and codecs. Moreover, each compressed feature is paired with task-specific semantic degradation labels, which act as ground truth for training and evaluating quality metrics. This dataset contributes to advancing research in the field of Compressed Feature Quality Assessment (CFQA) and serves as a foundational resource for the global research community to conduct CFQA-related explorations.

搜集汇总

数据集介绍

构建方式

在资源受限环境中大规模模型的广泛部署凸显了对中间特征表示高效传输的需求。为推进压缩特征质量评估（CFQA）研究，该数据集构建了首个基准数据集，包含来自三个视觉任务（分类、分割、深度估计）的300个原始特征和12000个压缩特征，并采用四种特征编码器（包括手工设计和学习模型）。每个压缩特征的任务特定性能下降被作为真实语义失真标签，用于CFQA指标的评估。

特点

该数据集的特点在于其多样性和代表性，涵盖了从粗粒度到细粒度的多种语义理解任务。通过选择DINOv2作为特征提取的骨干模型，确保了特征的强泛化能力和广泛适用性。数据集中的压缩特征通过四种不同的编码器生成，模拟了不同类型和强度的语义退化，为研究语义保真度提供了丰富的实验材料。此外，数据集还提供了任务特定的语义失真标签，为训练和评估质量指标提供了真实基准。

使用方法

该数据集的使用方法主要包括三个步骤：首先，研究人员可以利用数据集中的原始特征和压缩特征进行CFQA指标的开发和验证。其次，通过比较压缩特征与原始特征在特定任务上的性能差异，可以评估不同CFQA指标的有效性。最后，数据集还可用于探索特征编码器在不同任务和比特率下的语义退化模式，为优化特征编码策略提供依据。数据集和所有相关源代码已在GitHub上公开，以促进CFQA研究的持续发展。

背景与挑战

背景概述

随着大规模模型在资源受限环境中的广泛应用，中间特征表示的高效传输需求日益凸显。由南洋理工大学和卡迪夫大学的研究团队于2025年提出的Compressed Feature Quality Assessment Dataset (CFQA) 应运而生，这是首个针对特征编码语义保真度评估的基准数据集。该数据集包含来自分类、分割和深度估计三大视觉任务的300个原始特征及12,000个压缩特征，通过四种编解码器生成，并提供了任务性能下降作为真实语义失真标签。CFQA数据集的建立填补了传统像素级失真度量与高层语义评估之间的鸿沟，为边缘计算、分布式推理等场景提供了关键的评估基准。

当前挑战

CFQA面临的核心挑战体现在两个维度：在领域问题层面，特征压缩导致的语义退化难以被传统指标（如MSE、余弦相似度）准确捕捉，现有度量方法对高维特征的结构性失真和跨任务泛化能力不足；在构建过程中，多任务特征的空间异质性（如分割任务的像素级语义与分类任务的全局特征）要求编解码器在保持拓扑结构的同时实现高效压缩，而学习型编解码器的训练不稳定性进一步增加了失真模式的复杂性。此外，真实语义标签的获取需要完整下游任务推理，这与实际部署中任务未知或计算资源有限的约束形成根本性矛盾。

常用场景

经典使用场景

在资源受限的边缘计算环境中，大规模基础模型（如DINOv2、LLaMA3）的分布式部署催生了中间特征传输的需求。Compressed Feature Quality Assessment Dataset（CFQA）作为首个针对特征压缩语义保真度评估的基准数据集，其经典使用场景聚焦于量化不同压缩编解码器（如HM、VTM及基于超先验的学习型编解码器）对视觉任务特征（分类、分割、深度估计）的语义损伤程度。通过提供12,000组压缩特征及其对应的任务性能下降指标（如分类排名变化、mIoU差值、RMSE差异），该数据集为研究者系统分析特征编码过程中的语义失真模式提供了标准化实验平台。

解决学术问题

CFQA数据集解决了特征压缩领域三个关键学术问题：其一，突破了传统信号保真度指标（如MSE、PSNR）无法有效衡量高维特征语义退化的局限，首次建立了压缩特征与下游任务性能的显式关联；其二，通过涵盖多任务（分类/分割/深度估计）、多编解码器（手工/学习型）的组合，揭示了不同语义层级特征对压缩的敏感性差异，为任务感知的特征编码算法设计提供理论依据；其三，针对边缘-云协作系统中实时质量评估的难题，验证了余弦相似度、中心核对齐（CKA）等指标在语义失真预测中的有效性边界，推动轻量化、任务无关的质量评估指标发展。

衍生相关工作

CFQA数据集催生了多个标志性衍生研究：基于其构建的DMOFC（判别度量优化特征压缩）框架将CFQA评分作为损失函数，在ImageNet分类任务中实现同等压缩率下Top-1准确率提升4.2%；微软亚洲研究院提出的Omnipotent-FeC利用数据集验证了多任务联合训练对特征编码器的泛化增强效果，相关成果被VCM（Video Coding for Machines）标准采纳。此外，数据集启发的CKA-3D评估指标通过扩展核对齐至时空维度，在动态特征压缩评估中达到0.91的SROCC相关性，成为视频分析领域的新基准。