ali5341/scifact-chat-format

SciFact Chat-Format数据集是基于`allenai/scifact`原始数据集的聊天格式准备，用于监督微调（SFT）。原始数据集专注于科学声明验证，提供了支持（SUPPORT）、反驳（CONTRADICT）和证据不足（NOT ENOUGH INFO）三种标签。数据集包含了约1.4K个带有证据摘要的声明。数据准备过程中，每个声明-证据集被转换为一行数据，包括用户指令、声明、标题和索引摘要，以及助手的结构化响应（标签、理由句子ID和解释）。数据集格式为OpenAI风格的`messages`格式，适用于指令调优对话。

The SciFact Chat-Format dataset is a chat-format preparation of the original `allenai/scifact` dataset for supervised fine-tuning (SFT). The original dataset focuses on scientific claim verification, providing labels for SUPPORT, CONTRADICT, and NOT ENOUGH INFO. It includes approximately 1.4K claims with evidence-containing abstracts. During preparation, each claim-evidence set is converted into a single row of data, including user instructions, claims, titles, and indexed abstracts, as well as structured assistant responses (label, rationale sentence IDs, and explanation). The dataset is formatted in the OpenAI-style `messages` format, suitable for instruction-tuning conversations.

搜集汇总

数据集介绍

构建方式

该数据集基于Allen AI发布的SciFact原始语料库进行重构，专注于科学主张的可信度验证。构建过程中，将原始数据集中的摘要句子进行索引编码，并为每条主张与证据集生成独立的记录。对于缺乏支持或矛盾证据的样本，系统自动生成“证据不足”（NOT ENOUGH INFORMATION）标签。通过结构化转换脚本prepare_scifact_unsloth.py，将原始分类任务数据转化为符合监督微调（SFT）标准的聊天格式，每条数据包含用户指令、主张、标题及索引化摘要，助手则返回结构化标签、依据句子编号及解释。

特点

该数据集的核心特色在于将传统的事实核查任务转化为指令调优对话格式，采用OpenAI风格的messages结构，显著提升了模型在科学文本场景下的交互式验证能力。数据标签涵盖支持、矛盾与证据不足三类，并附带精确定位的依据句子编号，增强了推理的可解释性。此外，数据集保留了来源文献的元信息，如主张与文档ID、标签及数据划分，便于下游任务的多维度评估与模型泛化性能分析。

使用方法

数据集以JSONL格式提供训练集与验证集文件，用户可直接加载用于序列分类或生成式模型的微调。使用时，每条样本的messages字段包含用户指令与助手回答，适合作为大语言模型的对话训练数据。通过解析assistant字段中的结构化标签与依据句子编号，可提取验证结果并用于模型评估。数据集提供stats.json统计文件以概览样本分布，用户亦可借助prepare_scifact_unsloth.py脚本复现构建过程，确保数据一致性与可复现性。

背景与挑战

背景概述

在生物医学文献呈指数级增长的当下，自动化事实核查技术对于保障科学传播的严谨性至关重要。SciFact数据集由艾伦人工智能研究所于2020年发布，聚焦于科学主张的真实性验证，旨在推动自然语言处理模型从单纯的文本分类迈向结合推理证据的复杂决策。其核心研究问题在于如何利用支持、矛盾或信息不足的标注，引导模型对约1.4K条含有证据的摘要进行可信度判断。该数据集已成为科学事实核查领域的基准资源，深刻影响了后续研究对模型可解释性与证据整合能力的探索。基于此，scifact-chat-format版本进一步将其转化为对话格式，以适应指令微调范式的需求，拓展了数据集在监督微调场景下的应用边界。

当前挑战

当前数据集所解决的领域挑战集中于科学文献中事实性信息的验证歧义性，模型需区分支持、矛盾与信息不足三种细微语义，而非简单的二元分类。构建过程中，挑战体现在两方面：一是原始数据规模较小，仅约1.4K条主张，限制了复杂模型的泛化能力与鲁棒性评估；二是证据与标签的映射需要精确的句子级标注，以保证推理链条的完整性，然而人工标注的高成本与领域知识门槛使得数据扩展困难。此外，将验证任务构建为对话格式时，如何维持多轮交互中的逻辑一致性与噪声控制，亦成为数据准备阶段的显著阻碍。

常用场景

经典使用场景

在许多学术研究中，基于科学文献的自动事实核查一直是自然语言处理领域的核心挑战。针对这一难题，scifact-chat-format数据集应运而生，它通过将原始SciFact数据转换为可用于监督式微调的对话格式，为科学主张验证任务提供了标准化、结构化的训练资源。研究人员可以借助该数据集，构建能够精准识别科学主张与旁证文献间关系（支持、反驳或信息不足）的语言模型，从而推动自动化科学文献可信度评估的蓬勃发展。

衍生相关工作

围绕scifact-chat-format数据集，诸多经典工作得以衍生与深化。例如，研究者可将此数据与其他科学事实验证资源（如COVID-19相关主张数据库）合并与重组，推动多领域、多格式的事实验证模型迁移学习研究；同时，基于该对话式格式，衍生出了若干针对大型语言模型的指令微调方案，显著提升了模型在零样本科学主张验证场景下的泛化能力；此外，它还为融合检索与推理的端到端科学事实验证系统提供了关键的训练范本，激发了多项关于证据排序与逻辑推理相协同的创新性研究。

数据集最近研究

最新研究方向

基于SciFact数据集的对话式指令微调格式转换，为科学声明验证任务引入了一种新的监督微调数据构建范式。该研究方向聚焦于将传统的科学声明验证任务（如SUPPORT/CONTRADICT/NOT ENOUGH INFO三分类）转化为结构化的对话式指令遵循形式，通过保留证据句子索引和结构化推理解释，使模型能够学习在对话上下文中进行细粒度的证据定位与逻辑推理。这一工作顺应了大型语言模型在事实核查领域的应用趋势，通过将标注数据适配为OpenAI风格的messages格式，为科学领域声明验证的少样本学习和指令微调提供了标准化数据基础，有助于推动可信AI在科学研究中的落地。