fava-uw/fava-data

---
license: cc-by-4.0
---
# FAVA Datasets

FAVA datasets include: annotation data and training data.

## Dataset Details

### Annotation Data

The annotation dataset includes 460 annotated passages identifying and editing errors using our hallucination taxonomy. This dataset was used for the fine-grained error detection task, using the annotated passages as the gold passages.

### Training Data

The training data includes 35k training instances of erroneous input and corrected output pairs using our synthetic data generation pipeline.

---
license: 知识共享署名4.0（CC BY 4.0）协议
---
# FAVA 数据集

FAVA 数据集包含标注数据与训练数据两类。

## 数据集详情

### 标注数据
该标注数据集包含460篇经标注的文本段落，基于我们提出的幻觉分类体系对文本中的错误进行识别与编辑；该数据集以标注后的文本段落作为金标准样本，用于细粒度错误检测任务。

### 训练数据
该训练数据包含3.5万个训练样本，均为基于我们的合成数据生成流水线构建的错误输入与修正输出配对样本。

原始信息汇总

数据集概述

数据集组成

• 注释数据
• 训练数据

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，高质量数据集的构建是推动模型性能提升的关键基石。FAVA数据集通过双轨策略精心打造：其一为人工标注数据，涵盖460条经过精细标注的文本段落，这些段落依据幻觉分类体系对错误进行识别与修正，构成了细粒度错误检测任务的金标准；其二为合成训练数据，借助自动化流水线生成了35,000对错误输入与修正输出的实例，从而为模型训练提供了规模化的监督信号。

特点

该数据集的核心特色在于其分层设计理念。标注数据聚焦于细粒度错误检测，通过专家标注确保错误类型与修正的精准对应，为模型提供高可靠性的评估基准。训练数据则强调规模性与多样性，35k实例覆盖广泛的错误模式，有效增强模型的泛化能力。两者相辅相成，兼顾了数据质量与数量，为幻觉检测任务奠定了坚实的数据基础。

使用方法

使用FAVA数据集时，建议根据任务目标灵活调用。对于细粒度错误检测评估，可直接采用标注数据中的460条金标准段落作为测试集，以验证模型在特定错误分类上的表现。若需训练错误修正模型，则可利用完整的35k训练实例对模型进行监督学习，输入为错误文本，输出为修正版本，从而习得从错误到正确的映射关系。数据采用CC-BY-4.0许可，便于学术研究与商业应用。

背景与挑战

背景概述

在自然语言处理领域，大语言模型的生成内容常伴随事实性错误与逻辑偏差，即‘幻觉’现象，成为制约其可靠应用的核心瓶颈。为系统化应对这一挑战，FAVA数据集于近年由相关研究团队构建，其核心研究问题聚焦于细粒度错误检测与纠正。该数据集包含两大核心组成部分：一是由460条标注样本构成的注释数据集，依据幻觉分类体系对错误进行精确标识与编辑；二是通过合成数据生成流水线构建的35k条训练实例，涵盖错误输入与修正输出的配对。FAVA数据集的提出为幻觉检测与纠正任务提供了标准化基准，推动了该领域从粗粒度评估向精细化诊断的演进，对提升生成模型的可信度具有显著影响力。

当前挑战

当前FAVA数据集面临的核心挑战首先体现于所解决的领域问题：大语言模型生成的‘幻觉’现象具有高度多样性与隐蔽性，现有分类体系难以覆盖所有错误类型，且错误边界模糊导致标注一致性维护困难。其次，在数据集构建过程中，合成数据生成流水线虽能规模化产出训练实例，但合成样本与真实场景中错误分布的偏差可能削弱模型的泛化能力；同时，460条注释数据在规模上相对有限，难以充分捕捉长尾错误模式，且跨领域迁移时需额外适配。此外，如何确保训练数据中错误注入的自然性与多样性，避免引入人为痕迹，亦是制约数据集效用的关键瓶颈。

常用场景

经典使用场景

在自然语言生成与事实一致性评估的前沿探索中，fava-uw/fava-data数据集以其独特的幻觉分类体系，为细粒度错误检测任务提供了黄金标准。该数据集的核心应用场景聚焦于对生成文本中事实性错误的精准定位与分类，研究者可借助其标注的460条语料，训练模型识别从细微事实偏差到严重虚构的多元错误类型，从而提升语言模型输出内容的可信度与准确性。

解决学术问题

该数据集有效回应了自然语言处理领域长期悬而未决的‘幻觉’难题——即模型生成看似流畅却违背事实的内容。通过提供系统化的错误标注框架，它使得从语义层面区分事实性错误与风格性偏差成为可能，推动了可解释性评估方法的发展。其意义在于为构建更可靠的语言模型奠定了数据基础，显著提升了模型输出内容的事实性审核效率与学术研究可复现性。

衍生相关工作

基于该数据集，学界已衍生出多项标志性工作，包括面向大规模语言模型的幻觉检测基准测试、基于对比学习的错误纠正框架，以及融合多模态信息的事实一致性评估模型。这些工作不仅深化了对幻觉生成机制的理解，还催生了可迁移至跨语言场景的通用检测范式，进一步拓展了数据集在低资源语言事实性评估中的方法论价值。