CFQA: A Benchmark Dataset for Compressed Feature Quality Assessment
收藏资源简介：
该仓库托管了首个用于压缩特征质量评估（CFQA）的基准数据集，支持在不依赖下游推理的情况下评估压缩深度特征的语义退化。它适用于编解码器优化、传输控制和跨任务及架构的特征重用研究。
This repository hosts the first benchmark dataset for Compression Feature Quality Assessment (CFQA), enabling the evaluation of semantic degradation in compressed depth features without relying on downstream inferences. It is suitable for codec optimization, transmission control, and research on feature reuse across tasks and architectures.
CFQA数据集概述
数据集简介
CFQA是首个用于压缩特征质量评估（Compressed Feature Quality Assessment）的基准数据集，旨在评估压缩深度特征的语义退化情况，无需依赖下游推理。该数据集支持编解码器优化、传输控制和跨任务/架构特征重用等研究。
数据集规模
- 原始特征：300个
- 压缩特征：12000个
- 任务类型：3种（分类、分割、深度估计）
- 编解码器：4种
任务详情
| 任务类型 | 数据来源 | 原始特征数量 | 预处理方式 | 特征编解码器 | 压缩特征数量 | 特征形状 | 真实失真指标 |
|---|---|---|---|---|---|---|---|
| 分类(Cls) | ImageNet | 100 | 调整大小 | HM, VTM, 多任务超先验, 任务特定超先验 | 4000 | 257×1536 | 排序 |
| 分割(Seg) | VOC 2012 | 100 | 翻转和裁剪 | HM, VTM, 多任务超先验, 任务特定超先验 | 4000 | 2×1370×1536 | mIoU差异 |
| 深度估计(Dpt) | NYUv2 | 100 | 翻转 | HM, VTM, 多任务超先验, 任务特定超先验 | 4000 | 2×4×161×1536 | RMSE差异 |
数据集结构
cfqa_dataset/ ├── org_feat/ # 原始特征 │ ├── cls/ # 分类任务 │ ├── seg/ # 分割任务 │ └── dpt/ # 深度估计任务 ├── compressed_feat/ # 压缩特征 │ ├── hm/ # HM编解码器 │ ├── vtm/ # VTM编解码器 │ ├── hyperprior_task_specific/ # 任务特定超先验 │ └── hyperprior_multi_task/ # 多任务超先验
评估指标
基础指标
- MSE（均方误差）：测量逐元素信号失真
- 余弦相似度：捕获特征空间中的角度关系
- CKA（中心核对齐）：测量token级特征的结构相似性
评估协议
- PLCC：与任务特定退化的线性相关性
- SROCC：单调排序一致性
性能基准
| 编解码器 | 任务 | MSE PLCC | MSE SROCC | 余弦PLCC | 余弦SROCC | CKA PLCC | CKA SROCC |
|---|---|---|---|---|---|---|---|
| HM | Cls | 0.6641 | 0.9113 | -0.7368 | -0.9116 | -0.5788 | -0.9089 |
| HM | Seg | -0.6210 | -0.6729 | 0.6866 | 0.6729 | 0.6133 | 0.6726 |
| HM | Dpt | 0.8601 | 0.9036 | -0.8799 | -0.9036 | -0.8829 | -0.9027 |
使用说明
-
特征解码：
- HM编解码器：
cd coding/hm; python hm.py - VTM编解码器：
cd coding/vtm; python vtm.py - 超先验编解码器：
cd coding/CompressAI; python run_batch.py
- HM编解码器：
-
任务评估：
cd machines/dinov2/; python cls.py; python seg.py; python dpt.py
-
指标评估：
python corr/corr.py
许可信息
- 许可证：CC BY-NC 4.0
- 引用格式： bibtex @inproceedings{gao2025cfqa, title={Compressed Feature Quality Assessment: Dataset and Baselines}, author={Gao, Changsheng and Zhou, Wei and Lin, Guosheng and Lin, Weisi}, booktitle={Proceedings of ACM Multimedia (ACMMM)}, year={2025} }
相关资源
- 论文：https://arxiv.org/abs/2506.07412
- 数据集镜像：https://entuedu-my.sharepoint.com/:f:/r/personal/changsheng_gao_staff_main_ntu_edu_sg/Documents/CFQA_Dataset?csf=1&web=1&e=Bt5a3q
