refute

REFUTE（证据推理）是一个基准数据集，旨在评估语言模型的科学推理能力和认知诚实性，核心在于区分模型的‘技能’（如撰写批判性文本）与‘诚实性’（如对证据强度的正确校准），即模型在证据薄弱时是否过度自信。数据集基于2025-2026年发表的真实科学论文构建，包含两个主要版本：v2版本（2026年发布）包含240个自动评分的多项选择题，分为四个任务类型：1) 知识回忆：60个闭卷四选一题目，测试对近期研究发现的记忆；2) 证伪选择：60个题目，要求选择能具体证伪某个主张的观察结果；3) 标题校准：40个题目，区分谨慎结论与 subtly hyped 的结论；4) 缺陷识别：80个题目，在缺陷 subtle 的情况下选择最合理的摘要。v1版本则侧重于开放式文本生成，包含60-120个需要对真实论文进行批判性写作的任务，以及74个带有客观‘合理/有缺陷’标签的小故事，用于校准评估。数据集适用于文本生成、问答和文本分类任务，特别服务于科学推理、认知论、评估、校准和证伪等研究领域。数据以纯文本形式提供，总规模小于1000个样本。REFUTE (Evidence Reasoning) is a benchmark dataset designed to evaluate language models scientific reasoning abilities and cognitive honesty. The core idea is to distinguish between a models skill (such as writing critical texts) and honesty (such as correctly calibrating evidence strength), i.e., whether the model is overconfident when evidence is weak. The dataset is constructed based on real scientific papers published in 2025-2026 and includes two main versions. The v2 version (released in 2026) contains 240 automatically scored multiple-choice questions, divided into four task types: 1) Knowledge recall: 60 closed-book four-option questions testing memory of recent research findings; 2) Falsification selection: 60 questions requiring selection of observations that specifically falsify a claim; 3) Title calibration: 40 questions distinguishing cautious conclusions from subtly hyped ones; 4) Flaw identification: 80 questions selecting the most reasonable summary when flaws are subtle. The v1 version focuses on open-ended text generation, including 60-120 tasks requiring critical writing on real papers, and 74 short stories with objective reasonable/flawed labels for calibration evaluation. The dataset is suitable for text generation, question answering, and text classification tasks, particularly serving research areas such as scientific reasoning, epistemology, evaluation, calibration, and falsification. Data is provided in plain text format, with a total size of less than 1000 samples.

原始信息汇总

数据集概述：REFUTE（Reasoning Over Evidence）

• 名称：REFUTE（Reasoning Over Evidence）
• 语言：英语（en）
• 许可证：Apache-2.0
• 任务类别：文本生成、问答、文本分类
• 标签：基准测试、科学推理、认知论、评估、校准、证伪、纯文本
• 大小：n<1K（少于1000条样本）
• 发布机构：BGPT（https://bgpt.pro/）

核心目标

REFUTE基准测试旨在评估前沿语言模型对2025–2026年真实论文的科学判断能力，重点考察模型是否“诚实”（即对自身认知的准确性），而非仅仅考察其能否给出正确答案。它区分“批判技能”和“认知诚实性”两个维度。

数据集构成

REFUTE包含两个版本（v1和v2），共7个配置，均为训练集（split: train）。

v2（2026年版本）

• 风格：多项选择题，可自动评分，无需人工判断。
• 总量：240道题目，涵盖4种问题类型：

问题类型	配置名称	题量	说明
你知道研究发现吗？	refute_knowledge	60	考察对2025–2026年最新研究结果的回忆（封闭式4选1，精确匹配）
什么能证明它错了？	refute_falsifier_choice	60	从近似干扰项中选出具体的证伪观察
标题是否公允？	refute_overclaim_choice	40	区分谨慎结论与过度营销
你能识别糟糕的科学吗？	refute_discrimination_hard	80	在细微缺陷中选出最合理的总结

• 特征字段：id, task, prompt, answer, options, flaw_type, rubric_type
• 现有前沿模型平均正确率：76%；其中“识别糟糕科学”最困难（67%）。

v1（原始版本）

• 风格：开放式生成式批评，需人工或标准评分。
• 总量：3个配置，用于评估生成式科学写作与校准。

配置名称	题量	说明
refute_120	120	五大任务类型（每种24条），纯文本生成式批评
refute_hard_60	60	挑战性子集，用于生成式排名
refute_soundness	74	包含客观的“合理/有缺陷”标签，用于校准评估

• 特征字段（refute_120 / refute_hard_60）：id, task, paper_title, paper_date, input, reference, rubric_type, max_score, rubric, scoring_notes, source_hash
• 特征字段（refute_soundness）：id, label, flaw_type, summary, source, flaw_tell

数据文件格式与加载示例

所有数据文件为JSONL格式，可通过Hugging Face datasets 库加载。

• 加载v2（以 refute_knowledge 为例）： python from datasets import load_dataset items = load_dataset("BGPT-OFFICIAL/refute", "refute_knowledge", split="train")

• 加载v1（以 refute_hard_60 为例）： python hard = load_dataset("BGPT-OFFICIAL/refute", "refute_hard_60", split="train")

排行榜与评分

• Truth Score：综合知识、不确定性诚实度、缺陷识别和批判技能的0–100评分。
• 当前领先模型：Claude-Opus-4.7（73分），其次为Gemini-3.1-Pro（70分）、Claude-Opus-4.6（68分）。
• 完整排行榜：https://huggingface.co/spaces/BGPT-OFFICIAL/refute-leaderboard

相关资源

• 技术报告：TECHNICAL_REPORT.md
• 评估协议：metadata/eval_protocol_mcq_v2.json
• 集成指南：INTEGRATORS.md
• FAQ：FAQ.md
• 引用： bibtex @misc{bgpt_refute_v2_2026, title = {REFUTE: Reasoning Over Evidence Benchmark}, author = {{BGPT Team}}, year = {2026}, url = {https://huggingface.co/datasets/BGPT-OFFICIAL/refute} }

搜集汇总

数据集介绍

构建方式

REFUTE数据集由BGPT团队构建，旨在评估前沿语言模型在2025至2026年真实科学文献上的推理诚实性。数据集分为两个版本：v2包含240道多选题，涵盖知识召回、具体证伪识别、结论校准与科学瑕疵判别四类任务，所有题目均基于最新论文内容设计，采用自动评分机制，无需人工评判；v1则包含60至120项开放式批评任务及74个校准情景，用于测试模型在科学写作中的深层判断力。每个子集均以JSONL格式存储，包含唯一标识符、任务类型、提示词及标准答案等字段。

特点

REFUTE的核心特点在于其独树一帜的评估视角——它将批判技能与认知诚实性分离考量，通过精心设计的题目揭示模型在面对模糊或不完全证据时的真实表现。v2版本的四类问题难度梯度清晰，其中科学瑕疵识别任务最具挑战性，前沿模型平均仅获67%正确率，有效区分了不同模型的推理稳健性。数据集规模精简却极具针对性，240道多选题足以生成可复现的排名，同时每个子集均标注了缺陷类型与评分标准，便于深入分析模型在不同认知维度上的短板。

使用方法

研究者可通过HuggingFace的datasets库便捷加载REFUTE数据集，命令为load_dataset("BGPT-OFFICIAL/refute", "子集名称", split="train")。对于v2的多选题，模型需输出A/B/C/D形式的答案，系统自动比对标准答案进行评分；v1的生成式任务则需依据提供的论文摘要与评分细则，输出结构化批评文本。官方提供了详尽的评估协议文件及技术报告，支持研究人员复现排行榜上的评分逻辑，并利用Truth Score综合指标从知识准确性、不确定性表达、瑕疵识别与批评技能四个维度衡量模型的科学推理诚实度。

背景与挑战

背景概述

REFUTE（Reasoning Over Evidence）数据集由BGPT团队于2026年创建，旨在评估前沿语言模型在科学推理中的诚实性与校准能力。该数据集基于2025至2026年的真实科学论文，精心设计了240道多项选择题，涵盖知识回忆、证伪判断、结论校准及科学谬误辨识四个维度。REFUTE的核心研究问题在于区分模型的“技能”与“认知诚实性”，即模型是否清楚自身知识的边界、何时应修正观点。这一创新设计使得REFUTE在自然语言处理与科学推理领域独树一帜，突破了传统基准仅关注答案正确性的局限，为模型的科学判断力提供了更为严苛且可复现的衡量标准，对推动可信人工智能的发展具有重要意义。

当前挑战

REFUTE数据集主要应对的领域挑战在于，当前大多数基准测试无法有效区分模型的高超写作能力与其对科学证据的诚实认知，导致模型可能以流畅文本掩盖其过度自信或逻辑缺陷。为此，REFUTE通过设计“筛选最精确证伪者”、“识别过度宣传结论”等任务，专门测试模型对科学不确定性的把握能力。在构建过程中，挑战尤为突出：需从海量最新论文中提取具有细微逻辑差异的实例，确保题目无歧义且能由机器自动评分，并平衡各子集难度以避免天花板或地板效应。此外，面对模型在“识别不良科学”子集上平均仅67%的准确率，如何持续更新题目以保持对前沿模型的挑战性，亦是维护该基准的关键难题。

常用场景

经典使用场景

在科学推理与认知可靠性评估的交叉领域，REFUTE数据集以其独特的设计理念脱颖而出，成为衡量语言模型科学判断诚实性的标杆工具。该数据集最经典的使用场景是用于评估前沿语言模型的认知校准能力与科学推理水平。通过240道涵盖知识召回、实验证伪、结论校准和科学瑕疵识别四种类型的多项选择题，研究者能够系统性地考察模型面对真实科学文献时的表现。相较于传统基准测试仅关注答案正确性，REFUTE更关注模型对自身认知边界的诚实判断能力，为人工智能系统的可信赖性研究提供了全新的评估范式。

实际应用

在实际应用中，REFUTE数据集为人工智能系统的安全部署提供了关键的质量控制工具。科研机构可利用该数据集对语言模型进行科学信息处理的诚实性筛查，确保模型在辅助学术研究时不会传播过度解读或误导性结论。出版和审稿系统可借助REFUTE的评估框架，自动检测模型生成的科学摘要是否保持了适度的认识论谦逊。此外，该数据集还为教育科技领域提供了评估学生和AI助手科学推理质量的标准参照，在学术诚信检测、科普内容审核等场景中展现出广泛的应用潜力，成为连接人工智能发展与科学实证精神的重要桥梁。

衍生相关工作

REFUTE数据集的发布催生了一系列突破性的衍生研究工作。在其启发下，研究者们开发了基于认知校准原理的新型训练方法，利用证伪性思维训练来提升语言模型的科学推理诚实性。该数据集的评估框架被扩展应用于多模态科学理解场景，衍生出涵盖图表证据的跨模态批评性评估任务。此外，REFUTE所揭示的'技能-诚实性分离'现象直接激发了关于人工智能认知偏差的理论研究，推动了认识论评估基准的家族化发展，包括针对特定学科领域的科学真实性评估工具。这些工作共同构筑了以认知诚实性为核心的人工智能评估研究新方向。