DebateCV数据集

DebateCV数据集是首个采用辩论驱动方法的声明验证框架，使用多个大型语言模型(LLM)代理。该数据集包含辩论记录，即导致每个声明最终裁决的(多轮)论点日志，以及由辩论者配对的裁决和论据。该数据集由零样本DebateCV模拟辩论声明的过程生成，利用人工标记的裁决和证据，并配以辩论记录。

The DebateCV dataset is the first debate-driven claim verification framework that employs multiple large language model (LLM) agents. This dataset includes debate records, namely (multi-turn) argument logs that lead to the final adjudication of each claim, as well as adjudications and arguments paired by debaters. The dataset is generated by zero-shot DebateCV, which simulates the process of debating claims, leveraging manually labeled adjudications and evidence, and incorporates the corresponding debate records.

搜集汇总

数据集介绍

构建方式

DebateCV数据集通过模拟多轮辩论过程构建，利用大型语言模型（LLM）代理进行对抗性辩论。具体而言，两个辩论代理（支持方和反对方）基于相同证据集进行多轮辩论，而调解代理则评估辩论内容并生成最终判断。此外，通过零样本DebateCV框架生成合成辩论数据，并引入校正代理修正预测错误，从而构建高质量的数据集。

特点

DebateCV数据集的特点在于其辩论驱动的验证机制，能够全面分析多角度证据，提升复杂声明的验证准确性。数据集包含多轮辩论记录、证据集、预测判断及修正后的判断，支持对声明真实性的深度分析。其对抗性辩论机制有效减少了单一模型的偏见，增强了证据分析的严谨性。

使用方法

DebateCV数据集适用于声明验证任务，用户可通过加载数据集并调用预训练的调解代理模型进行声明真实性评估。具体流程包括输入声明和证据集，启动辩论代理生成多轮辩论记录，最终由调解代理输出判断及理由。数据集还可用于训练和优化其他声明验证模型，提升其在复杂场景下的表现。

背景与挑战

背景概述

DebateCV数据集由香港浸会大学和香港大学的研究团队于2025年推出，旨在解决复杂声明验证中的多面证据分析难题。该数据集基于辩论驱动的声明验证框架，通过模拟人类事实核查中的辩论过程，利用多个大型语言模型（LLM）代理进行多轮辩论，从而提升声明的真实性判断。其创新性在于首次将辩论机制引入自动声明验证领域，显著提升了在证据质量不一情况下的验证准确性，对提升数字素养和打击虚假信息具有重要影响。

当前挑战

DebateCV数据集面临的主要挑战包括：1) 在声明验证领域，如何有效处理复杂、多面的声明，尤其是在证据存在矛盾或不足时；2) 在构建过程中，缺乏真实世界的辩论驱动声明验证数据，导致需要依赖合成数据进行模型训练，这可能会引入偏差或错误；3) 确保辩论过程中各代理的论点基于证据且逻辑严谨，避免无意义的重复或偏离主题。

常用场景

经典使用场景

DebateCV数据集在自动化事实核查领域具有显著的应用价值，特别是在处理涉及多面证据的复杂声明验证任务中。该数据集通过模拟人类事实核查中的辩论机制，利用多个大型语言模型（LLM）代理进行多轮论证，从而实现对声明真实性的深度分析。其经典使用场景包括社交媒体虚假信息检测、新闻真实性验证以及公共政策声明的准确性评估。通过辩论驱动的框架，DebateCV能够有效解决传统单LLM方法在处理复杂声明时的局限性。

衍生相关工作

DebateCV数据集已经催生了多项相关研究工作。基于其辩论驱动的框架，研究人员开发了多种改进模型，如结合迭代证据检索的扩展版本，以及针对特定领域（如医疗或政治声明）优化的定制化模型。此外，该数据集还启发了多代理协作在自然语言处理其他任务中的应用，如机器翻译中的质量评估和文本生成中的事实一致性检查。DebateCV的后训练策略也被其他领域借鉴，用于提升模型在复杂决策任务中的表现。这些衍生工作进一步巩固了DebateCV在自动化事实核查领域的标杆地位。

数据集最近研究

最新研究方向

在数字信息爆炸的时代，虚假信息的快速传播对自动声明验证技术提出了更高要求。DebateCV数据集作为首个基于多智能体辩论范式的声明验证框架，通过模拟人类事实核查中的对抗性讨论机制，显著提升了复杂多面声明的验证准确性。该数据集的最新研究聚焦于三个前沿方向：一是探索辩论驱动的方法如何通过多轮对抗性论证揭示证据间的潜在矛盾，例如在尼日利亚城市化率的案例中，传统单智能体方法因无法调和证据间的时序矛盾而误判，而辩论机制能有效识别最新证据；二是研究基于合成数据的后训练策略，通过零样本辩论生成模拟数据并引入校正器优化，解决了真实辩论数据稀缺的瓶颈；三是分析多智能体辩论在证据质量波动场景下的鲁棒性，实验表明即使在检索证据存在噪声的情况下，该框架仍能保持72%的准确率，较基线方法提升1.8%。这些突破为构建更可靠的自动化事实核查系统提供了新范式，尤其在政治声明、公共卫生等高风险领域具有重要应用价值。

相关研究论文

• Debating Truth: Debate-driven Claim Verification with Multiple Large Language Model Agents

  香港浸会大学互动媒体系，香港大学计算机科学系 · 2025年