Omni-Detective

Omni-Detective是一个自主的数据生成框架，通过迭代查询-观察周期，自动提取和综合精确、丰富、最小幻觉的视听注释。它由三个关键组件组成：侦探代理、工具箱和独立观察者。这个设计允许自适应分配感知努力，利用结构化的工具调用和自由形式的推理，从而实现可扩展、准确和模式完整的详细描述。

Omni-Detective is an autonomous data generation framework that automatically extracts and synthesizes precise, rich, and hallucination-minimized audio-visual annotations via iterative query-observation cycles. It comprises three core components: the Detective Agent, Toolbox, and Independent Observer. This design enables adaptive allocation of perceptual effort, leveraging structured tool invocation and free-form reasoning to achieve scalable, accurate, and modality-complete detailed descriptions.

搜集汇总

数据集介绍

构建方式

在多模态人工智能领域，细粒度感知能力的提升面临着细节描述与幻觉内容同步增长的固有挑战。Omni-Detective创新性地采用智能体化数据生成范式，通过侦探角色模拟构建多轮查询-观察循环机制。该流程整合OCR、ASR及多模态大语言模型等专业工具，使智能体能够自主调用各类观察器从原始音视频流中提取证据。每一轮迭代都会通过跨模态交叉验证新增有效细节，同时修正已有论断中的不实内容，最终生成兼具丰富细节与最小幻觉的高质量多模态标注数据。

特点

该数据集最显著的特征在于其独特的细节-幻觉解耦设计理念。通过多轮迭代的证据收集机制，数据集在保持平均每段短视频包含1125个词汇的高信息密度同时，实现了细节覆盖率与幻觉率的优化平衡。数据集涵盖视觉、听觉及跨模态三个维度的细粒度标注，包含9大领域47个子类的丰富场景，每个标注实例平均包含30个填空式评估问题。特别设计的“未提及”选项使评估过程能够明确区分信息遗漏与内容幻觉，为细粒度多模态感知研究提供了前所未有的数据支撑。

使用方法

研究者在应用该数据集时可采用两阶段课程学习策略。第一阶段冻结视觉编码器，专注于音频模态的细粒度对齐训练，强制模型精确捕捉稀疏但关键的听觉线索。第二阶段进行音视频联合优化，释放所有模型参数以实现跨模态互补和连贯叙事生成。评估环节推荐采用填空式评估协议，通过单次大语言模型调用完成所有空白填充，既保证评估稳定性又大幅降低计算成本。这种使用方法已被证明在多个基准测试中实现细节覆盖与幻觉控制的最佳平衡。

背景与挑战

背景概述

随着人机交互技术的深入发展，全模态语言模型在并行处理视听信号方面展现出巨大潜力，但模型在捕捉和描述细粒度细节方面的能力仍显不足。2025年，由上海交通大学、阿里巴巴集团等机构联合提出的Omni-Detective数据集应运而生，其核心研究目标在于解决现有模型在生成详细描述时细节覆盖与幻觉内容同步增长的矛盾。该数据集通过智能体驱动的数据生成流程，整合工具调用与跨模态验证机制，显著提升了多模态感知的精确度与可靠性，为构建高保真视听理解系统奠定了数据基础。

当前挑战

Omni-Detective致力于攻克细粒度多模态描述任务中的核心难题：一方面，模型需在开放域生成中平衡描述长度与事实准确性，避免因过度追求细节而引入幻觉内容；另一方面，数据构建过程面临多源信息对齐的复杂性，需通过迭代式工具调用与跨模态交叉验证确保生成内容的 grounded 性。此外，评估体系的缺失也催生了 Omni-Cloze 基准的开发，其需在保持高效自动评分的同时，精准区分细节遗漏与幻觉错误，以支撑可靠的性能度量。

常用场景

经典使用场景

在细粒度多模态感知研究领域，Omni-Detective数据集通过其独特的智能体数据生成管道，为音频-视觉联合理解任务提供了高质量的标注基准。该数据集最经典的应用场景在于训练和评估能够同时处理视觉与听觉信号的通用语言模型，特别是在需要精确描述复杂场景细节的细粒度字幕生成任务中。研究人员利用该数据集构建的丰富标注信息，能够有效提升模型对现实世界中多模态信息的感知深度与准确性。

衍生相关工作

该数据集的发布催生了一系列创新性研究工作，其中最具代表性的是基于其训练得到的Audio-Captioner和Omni-Captioner模型。这些衍生模型在多个权威评测基准上取得了突破性表现，如Audio-Captioner在MMAU和MMAR音频理解任务中超越众多开源模型，Omni-Captioner则在VDC细粒度视频描述任务中刷新了最优结果。这些工作共同推动了细粒度多模态感知研究范式的演进，为后续研究提供了重要的技术参考。

数据集最近研究

最新研究方向

在音频-视觉多模态感知领域，Omni-Detective数据集通过引入代理式数据生成管道，显著推动了细粒度感知研究的前沿。该数据集创新性地采用工具调用机制，结合OCR、ASR和MLLM等技术，以侦探式迭代查询策略自主生成高细节、低幻觉的多模态标注，有效破解了传统全模态语言模型中细节覆盖率与幻觉率同步增长的瓶颈问题。当前研究热点聚焦于跨模态对齐优化与评估范式革新，例如通过两阶段课程训练实现音频与视觉信息的精确协同，并构建首个覆盖纯音频、纯视觉及音视频场景的完形填空式基准Omni-Cloze，为自动驾驶、辅助AI等依赖事实精确性的应用提供了可靠的数据基础和评估标准，深刻影响了多模态系统在细节感知与可信推理方面的技术演进路径。

相关研究论文

• 通过

  上海交通大学、南洋理工大学、香港中文大学、上海创新机构、阿里巴巴集团 · 2025年