AdaCoVT-Experiments
收藏资源简介：
本数据集关联的实验研究基于两个视觉问答（VQA）或视觉理解基准数据集：CV-Bench和BLINK。CV-Bench数据集包含2638个样本，任务类型涵盖计数（Count）、深度估计（Depth）、距离估计（Distance）和关系理解（Relation）。BLINK数据集包含681个样本，任务类型涵盖相对深度（Relative_Depth）、物体定位（Object_Localization）、空间关系（Spatial_Relation）、计数（Counting）和视觉对应（Visual_Correspondence）。这些数据集被用于评估Adaptive Routing of Latent Perception Tokens in CoVT方法（AdaCoVT）的性能，实验对比了包括全专家模型、路由模型、零分配等多种方法，并在VQA准确率、专家令牌使用数量和延迟等指标上报告了结果。
The experimental research associated with this dataset is based on two visual question answering (VQA) or visual understanding benchmark datasets: CV-Bench and BLINK. The CV-Bench dataset contains 2638 samples, with task types covering counting (Count), depth estimation (Depth), distance estimation (Distance), and relation understanding (Relation). The BLINK dataset contains 681 samples, with task types covering relative depth (Relative_Depth), object localization (Object_Localization), spatial relation (Spatial_Relation), counting (Counting), and visual correspondence (Visual_Correspondence). These datasets are used to evaluate the performance of the Adaptive Routing of Latent Perception Tokens in CoVT method (AdaCoVT), with experiments comparing various methods including full expert models, routing models, and zero allocation, and reporting results on metrics such as VQA accuracy, expert token usage count, and latency.
数据集概述
名称: AdaCoVT Experiments
描述: 该数据集包含“Adaptive Routing of Latent Perception Tokens in CoVT”方法的实验结果，旨在探索在CoVT模型中自适应路由潜在感知令牌的效果。
关键结果
下表展示了不同方法在VQA准确率、专家令牌使用数量和延迟方面的对比：
| 方法 | VQA准确率 | 专家令牌数 | 延迟 |
|---|---|---|---|
| Oracle minimal | 81.8% | 3.4 | — |
| Oracle detector | 80.2% | 4.2 | — |
| Full experts (实际) | 79.4% | 9.9 | 3.51秒 |
| Routed (实际, 相同流程) | 79.2% | 8.3 | 4.13秒 |
| Zero-all + BanExpert | 63.2% | 0 | 2.28秒 |
文件内容
Phase 0 KV-Level 消融实验
results/phase0_kv_cvbench_fixed.json— CV-Bench数据集上的2638个样本，使用固定答案解析器results/phase0_kv_blink_fixed.json— BLINK数据集上的681个样本results/phase0_kv_*_merged.json— 合并后的结果
实际推理
results/real_routed_single.json— 完整的CV-Bench路由推理结果（2638个样本）results/b4_fair.log— 公平配对比较（完整模型 vs 路由模型，相同流程）results/real_routed_fixed2.log— 使用BanExpertTokens修复后的结果
检测器检查点
checkpoints/detector/best.pt— 二值检测器（标准版）checkpoints/detector/best_costsens.pt— 成本敏感检测器（NEED权重=2）
消融实验
results/b6_ablation.log— 完整模型 vs AdaCoVT vs 仅问题 vs SafeRouter vs 随机 vs 无results/detector_cost_sensitive.log— NEED权重扫描
基础模型
- 模型名称: CoVT-7B (seg_depth_dino, Qwen2.5-VL-7B)
- 模型来源: Wakals/CoVT
基准测试
- CV-Bench: 包含计数、深度、距离、关系四个子任务
- BLINK: 包含相对深度、物体定位、空间关系、计数、视觉对应五个子任务
