CFQA: A Benchmark Dataset for Compressed Feature Quality Assessment

该仓库托管了首个用于压缩特征质量评估（CFQA）的基准数据集，支持在不依赖下游推理的情况下评估压缩深度特征的语义退化。它适用于编解码器优化、传输控制和跨任务及架构的特征重用研究。

This repository hosts the first benchmark dataset for Compression Feature Quality Assessment (CFQA), enabling the evaluation of semantic degradation in compressed depth features without relying on downstream inferences. It is suitable for codec optimization, transmission control, and research on feature reuse across tasks and architectures.

原始信息汇总

CFQA数据集概述

数据集简介

CFQA是首个用于压缩特征质量评估（Compressed Feature Quality Assessment）的基准数据集，旨在评估压缩深度特征的语义退化情况，无需依赖下游推理。该数据集支持编解码器优化、传输控制和跨任务/架构特征重用等研究。

数据集规模

• 原始特征：300个
• 压缩特征：12000个
• 任务类型：3种（分类、分割、深度估计）
• 编解码器：4种

任务详情

任务类型	数据来源	原始特征数量	预处理方式	特征编解码器	压缩特征数量	特征形状	真实失真指标
分类(Cls)	ImageNet	100	调整大小	HM, VTM, 多任务超先验, 任务特定超先验	4000	257×1536	排序
分割(Seg)	VOC 2012	100	翻转和裁剪	HM, VTM, 多任务超先验, 任务特定超先验	4000	2×1370×1536	mIoU差异
深度估计(Dpt)	NYUv2	100	翻转	HM, VTM, 多任务超先验, 任务特定超先验	4000	2×4×161×1536	RMSE差异

数据集结构

cfqa_dataset/ ├── org_feat/ # 原始特征 │ ├── cls/ # 分类任务 │ ├── seg/ # 分割任务 │ └── dpt/ # 深度估计任务 ├── compressed_feat/ # 压缩特征 │ ├── hm/ # HM编解码器 │ ├── vtm/ # VTM编解码器 │ ├── hyperprior_task_specific/ # 任务特定超先验 │ └── hyperprior_multi_task/ # 多任务超先验

评估指标

基础指标

• MSE（均方误差）：测量逐元素信号失真
• 余弦相似度：捕获特征空间中的角度关系
• CKA（中心核对齐）：测量token级特征的结构相似性

评估协议

• PLCC：与任务特定退化的线性相关性
• SROCC：单调排序一致性

性能基准

编解码器	任务	MSE PLCC	MSE SROCC	余弦PLCC	余弦SROCC	CKA PLCC	CKA SROCC
HM	Cls	0.6641	0.9113	-0.7368	-0.9116	-0.5788	-0.9089
HM	Seg	-0.6210	-0.6729	0.6866	0.6729	0.6133	0.6726
HM	Dpt	0.8601	0.9036	-0.8799	-0.9036	-0.8829	-0.9027

使用说明

1. 特征解码：

   • HM编解码器：cd coding/hm; python hm.py
   • VTM编解码器：cd coding/vtm; python vtm.py
   • 超先验编解码器：cd coding/CompressAI; python run_batch.py

2. 任务评估：

   • cd machines/dinov2/; python cls.py; python seg.py; python dpt.py

3. 指标评估：

   • python corr/corr.py

许可信息

• 许可证：CC BY-NC 4.0
• 引用格式： bibtex @inproceedings{gao2025cfqa, title={Compressed Feature Quality Assessment: Dataset and Baselines}, author={Gao, Changsheng and Zhou, Wei and Lin, Guosheng and Lin, Weisi}, booktitle={Proceedings of ACM Multimedia (ACMMM)}, year={2025} }

相关资源

• 论文：https://arxiv.org/abs/2506.07412
• 数据集镜像：https://entuedu-my.sharepoint.com/:f:/r/personal/changsheng_gao_staff_main_ntu_edu_sg/Documents/CFQA_Dataset?csf=1&web=1&e=Bt5a3q

搜集汇总

数据集介绍

构建方式

在云边协同AI系统蓬勃发展的背景下，CFQA数据集通过系统化采集与处理流程构建而成。研究团队从ImageNet、VOC 2012和NYUv2三大基准数据集中精选300个原始特征，采用四种差异化编码方案（包括传统视频编码标准HM/VTM和基于深度学习的超先验编码）生成12,000个压缩特征样本。每个样本均通过严格的预处理流程，包括尺寸调整、翻转裁剪等空间变换，并标注了基于任务表现的客观质量标签，形成覆盖分类、分割和深度估计三大视觉任务的多维度评估体系。

特点

该数据集开创性地构建了压缩特征质量评估的标准化基准，其显著特点体现在多模态任务覆盖和细粒度质量标注。数据集不仅包含传统编码算法产生的特征，还集成了任务专用与多任务超先验编码的对比样本，为研究特征压缩的语义保真度提供了丰富样本。每个压缩特征均配有基于下游任务性能的客观质量指标，如分类任务的排序标签、分割任务的mIoU差异值和深度估计的RMSE差异值，实现了从信号层面到语义层面的全方位质量评估。

使用方法

使用该数据集时需遵循标准化评估流程：首先通过专用解码脚本还原各类编码特征，随后调用预置的DINOv2模型在三大视觉任务上进行性能测试。评估阶段提供MSE、余弦相似度和CKA三种基线指标的计算脚本，支持PLCC和SROCC两种统计相关性验证方式。研究人员可通过修改配置文件路径实现不同编码方案和任务组合的灵活测试，系统将自动输出压缩特征质量与下游任务性能的量化关联分析报告。

背景与挑战

背景概述

CFQA数据集由Gao Changsheng等人于2025年提出，是首个专注于压缩特征质量评估的基准数据集，旨在解决云边协同AI系统中压缩特征语义退化评估的关键问题。该数据集由新加坡南洋理工大学团队构建，包含来自ImageNet、VOC 2012和NYUv2的300个原始特征及12000个压缩特征，覆盖分类、分割和深度估计三大计算机视觉任务。通过引入多任务评估框架和四种特征编码方案，CFQA填补了传统信号失真度量与下游任务性能之间的语义鸿沟，为特征编码优化、传输控制等研究提供了重要基准。

当前挑战

CFQA面临的领域挑战在于传统指标（如MSE、PSNR）无法有效捕捉特征压缩导致的语义失真，这直接影响边缘计算中的特征重用决策。构建过程中的技术挑战包括：跨任务特征一致性标注的复杂性，需为不同架构（如DINOv2）设计统一评估协议；多编码方案（HM/VTM/超先验）下特征空间的可比性保障；以及从分类、分割到深度估计的异构任务间质量评估标准的统一。数据集通过引入基于排名的语义失真标注和token级特征对齐（CKA）等创新方法应对这些挑战。

常用场景

经典使用场景

在边缘计算与云计算协同的智能系统中，CFQA数据集为压缩特征的质量评估提供了标准化测试平台。研究者通过该数据集能够系统性地比较不同编码算法在分类、分割和深度估计任务中对特征语义完整性的影响，从而优化编码器的设计。数据集包含12000个压缩特征样本，覆盖了传统视频编码与现代神经网络压缩技术，为多任务场景下的特征质量评估建立了统一基准。

衍生相关工作

基于CFQA的基准研究催生了《Semantic-Aware Feature Compression for Edge-Cloud Systems》等创新工作，提出任务自适应的量化策略。部分团队扩展数据集构建了跨模态评估框架FQA-3D，用于点云特征压缩分析。MIT媒体实验室则借鉴其评估协议，开发了面向联邦学习的特征质量控制器FedQoC。

数据集最近研究

最新研究方向

在边缘计算与云智能协同的背景下，CFQA数据集为压缩特征质量评估开辟了新的研究范式。当前研究聚焦于开发跨任务的语义一致性度量方法，突破传统信号失真指标的局限性，探索基于深度特征结构相似性的新型评估框架。该数据集正推动编码器优化、自适应传输控制等关键技术发展，特别是在视觉大模型特征压缩场景中，为降低边缘端计算负载同时保持语义完整性提供了基准验证平台。相关研究已延伸至多模态特征压缩评估领域，并与神经编解码器、特征重用等热点方向形成交叉创新。