cmalaviya/expertqa

---
configs:
- config_name: main
data_files: r2_compiled_anon_fixed.jsonl
- config_name: lfqa_random
data_files:
- split: train
path: rand_lfqa_train.json
- split: test
path: rand_lfqa_test.json
- split: validation
path: rand_lfqa_val.json
- config_name: lfqa_domain
data_files:
- split: train
path: domain_lfqa_train.json
- split: test
path: domain_lfqa_test.json
- split: validation
path: domain_lfqa_val.json
license: mit
task_categories:
- question-answering
language:
- en
source_datasets:
- original
pretty_name: ExpertQA
annotations_creators:
- expert-generated
size_categories:
- 1K<n<10K
---

# Dataset Card for ExpertQA

## Dataset Description

- **Repository: https://github.com/chaitanyamalaviya/ExpertQA**
- **Paper: https://arxiv.org/pdf/2309.07852**
- **Point of Contact: [e-mail]**

### Dataset Summary

We provide here the data accompanying the paper: [ExpertQA: Expert-Curated Questions and Attributed Answers](https://arxiv.org/pdf/2309.07852). The ExpertQA dataset contains 2177 examples from 32 different fields.

### Supported Tasks

The `main` data contains 2177 examples that can be used to evaluate new methods for estimating factuality and attribution, while the `lfqa_domain` and `lfqa_rand` data can be used to evaluate long-form question answering systems.

## Dataset Creation

### Curation Rationale

ExpertQA was created to evaluate factuality & attribution in language model responses to domain-specific questions, as well as evaluate long-form question answering in domain-specific settings.

### Annotation Process

Questions in ExpertQA were formulated by experts spanning 32 fields. The answers to these questions are expert-verified, model-generated answers to these questions. Each claim-evidence pair in an answer is judged by experts for various properties such as the claim’s informativeness, factuality, citeworthiness, whether the claim is supported by the evidence, and reliability of the evidence source. Further, experts revise the original claims to ensure they are factual and supported by trustworthy sources.

## Dataset Structure

### Data Instances

We provide the main data, with judgements of factuality and attribution, under the `default` subset.
The long-form QA data splits are provided at `lfqa_domain` (domain split) and `lfqa_rand` (random split).
Additional files are provided in our [GitHub repo](https://github.com/chaitanyamalaviya/ExpertQA).

### Data Fields

The main data file contains newline-separated json dictionaries with the following fields:
* `question` - Question written by an expert.
* `annotator_id` - Anonymized annotator ID of the author of the question.
* `answers` - Dict mapping model names to an Answer object. The model names can be one of `{gpt4, bing_chat, rr_sphere_gpt4, rr_gs_gpt4, post_hoc_sphere_gpt4, post_hoc_gs_gpt4}`.
* `metadata` - A dictionary with the following fields:
* `question_type` - The question type(s) separated by "|".
* `field` - The field to which the annotator belonged.
* `specific_field` - More specific field name within the broader field.

Each Answer object contains the following fields:
* `answer_string`: The answer string.
* `attribution`: List of evidences for the answer (not linked to specific claims). Note that these are only URLs, the evidence passages are stored in the Claim object -- see below.
* `claims`: List of Claim objects for the answer.
* `revised_answer_string`: Revised answer by annotator.
* `usefulness`: Usefulness of original answer marked by annotator.
* `annotation_time`: Time taken for annotating this answer.
* `annotator_id`: Anonymized annotator ID of the person who validated this answer.

Each Claim object contains the following fields:
* `claim_string`: Original claim string.
* `evidence`: List of evidences for the claim (URL+passage or URL).
* `support`: Attribution marked by annotator.
* `reason_missing_support`: Reason for missing support specified by annotator.
* `informativeness`: Informativeness of claim for the question, marked by annotator.
* `worthiness`: Worthiness of citing claim marked by annotator.
* `correctness`: Factual correctness of claim marked by annotator.
* `reliability`: Reliability of source evidence marked by annotator.
* `revised_claim`: Revised claim by annotator.
* `revised_evidence`: Revised evidence by annotator.

### Citation Information

```
@inproceedings{malaviya23expertqa,
title = {ExpertQA: Expert-Curated Questions and Attributed Answers},
author = {Chaitanya Malaviya and Subin Lee and Sihao Chen and Elizabeth Sieber and Mark Yatskar and Dan Roth},
booktitle = {arXiv},
month = {September},
year = {2023},
url = "https://arxiv.org/abs/2309.07852"
}
```

configs:
- 配置名称：main
数据文件：r2_compiled_anon_fixed.jsonl
- 配置名称：lfqa_random
数据文件:
- 划分集：train（训练集）
路径：rand_lfqa_train.json
- 划分集：test（测试集）
路径：rand_lfqa_test.json
- 划分集：validation（验证集）
路径：rand_lfqa_val.json
- 配置名称：lfqa_domain
数据文件:
- 划分集：train（训练集）
路径：domain_lfqa_train.json
- 划分集：test（测试集）
路径：domain_lfqa_test.json
- 划分集：validation（验证集）
路径：domain_lfqa_val.json
许可证：mit（MIT许可证）
任务类别：
- 问答（question-answering）
语言：
- en
源数据集：
- original
美观名称：ExpertQA
标注创建者：
- expert-generated
规模类别：
- 1K<n<10K

# ExpertQA数据集卡片

## 数据集说明
- **代码仓库：https://github.com/chaitanyamalaviya/ExpertQA**
- **论文地址：https://arxiv.org/pdf/2309.07852**
- **联系方式：[e-mail]**

### 数据集概述
本数据集配套论文《ExpertQA：专家精选问题与带归因答案》（https://arxiv.org/pdf/2309.07852）。ExpertQA数据集包含来自32个不同领域的2177条样本。

### 支持任务
`main`配置包含2177条样本，可用于评估事实性与归因的新型方法；而`lfqa_domain`与`lfqa_rand`配置的数据可用于评估长文本问答系统。

## 数据集构建
### 构建初衷
本数据集旨在评估语言模型（Language Model）针对领域专属问题的回复的事实性与归因效果，同时可用于评估领域特定场景下的长文本问答任务。

### 标注流程
ExpertQA中的问题由覆盖32个领域的专家撰写。对应问题的答案为模型生成，并经过专家审核验证。答案中的每一项主张-证据配对均由专家从多个维度进行评判，包括主张的信息性、事实性、可引用性、主张是否获得证据支持，以及证据来源的可靠性。此外，专家还会对原始主张进行修订，以确保其具备事实准确性且可通过可信来源得到验证。

## 数据集结构
### 数据实例
本数据集的主数据（包含事实性与归因标注）位于`default`配置子集下。长文本问答数据划分分为`lfqa_domain`（领域划分）与`lfqa_rand`（随机划分）两种。额外数据文件可在本项目的[GitHub代码仓库](https://github.com/chaitanyamalaviya/ExpertQA)中获取。

### 数据字段
主数据文件为以换行符分隔的JSON字典，包含以下字段：
* `question`：专家撰写的问题文本。
* `annotator_id`：问题作者的匿名标注者ID。
* `answers`：将模型名称映射至Answer对象（Answer object）的字典。可用的模型名称包括`{gpt4, bing_chat, rr_sphere_gpt4, rr_gs_gpt4, post_hoc_sphere_gpt4, post_hoc_gs_gpt4}`。
* `metadata`：包含以下子字段的字典：
* `question_type`：以"|"分隔的问题类型。
* `field`：标注者所属的领域。
* `specific_field`：对应大类领域下更细分的具体领域名称。

每个Answer对象（Answer object）包含以下字段：
* `answer_string`：答案文本内容。
* `attribution`：答案对应的证据列表（未与具体主张绑定）。请注意，此处仅存储URL，证据文本片段存储于Claim对象（Claim object）中，详见下文。
* `claims`：该答案对应的Claim对象（Claim object）列表。
* `revised_answer_string`：标注者修订后的答案文本。
* `usefulness`：标注者标记的原始答案的有用性评分。
* `annotation_time`：标注该答案所花费的时长。
* `annotator_id`：审核该答案的标注者的匿名ID。

每个Claim对象（Claim object）包含以下字段：
* `claim_string`：原始主张文本。
* `evidence`：该主张对应的证据列表（格式为URL+文本片段或仅URL）。
* `support`：标注者标记的归因结果。
* `reason_missing_support`：标注者指定的主张缺乏支持的原因。
* `informativeness`：标注者标记的该主张针对对应问题的信息性程度。
* `worthiness`：标注者标记的该主张的可引用价值。
* `correctness`：标注者标记的该主张的事实正确性。
* `reliability`：标注者标记的证据来源的可靠性。
* `revised_claim`：标注者修订后的主张文本。
* `revised_evidence`：标注者修订后的证据内容。

### 引用信息

@inproceedings{malaviya23expertqa,
title = {ExpertQA: Expert-Curated Questions and Attributed Answers},
author = {Chaitanya Malaviya and Subin Lee and Sihao Chen and Elizabeth Sieber and Mark Yatskar and Dan Roth},
booktitle = {arXiv},
month = {September},
year = {2023},
url = "https://arxiv.org/abs/2309.07852"
}

原始信息汇总

数据集卡片 for ExpertQA

数据集描述

数据集概述

ExpertQA 数据集包含 2177 个来自 32 个不同领域的示例，与论文 ExpertQA: Expert-Curated Questions and Attributed Answers 相关。

支持的任务

• main 数据包含 2177 个示例，用于评估新方法来估计事实性和归属性。
• lfqa_domain 和 lfqa_rand 数据用于评估领域特定设置中的长形式问答系统。

数据集创建

策划理由

ExpertQA 旨在评估语言模型对领域特定问题的响应中的事实性和归属性，以及在领域特定设置中评估长形式问答。

标注过程

ExpertQA 中的问题由 32 个领域的专家制定。这些问题的答案是经过专家验证的模型生成的答案。每个声明-证据对都由专家判断其信息性、事实性、引用价值、声明是否由证据支持以及证据来源的可靠性。此外，专家还修订原始声明，确保其事实性并由可信来源支持。

数据集结构

数据实例

• default 子集提供主要数据，包含事实性和归属性的判断。
• lfqa_domain（领域分割）和 lfqa_rand（随机分割）提供长形式问答数据分割。

数据字段

主要数据文件包含以下字段：

• question：专家编写的问题。
• annotator_id：问题作者的匿名标注者 ID。
• answers：映射模型名称到 Answer 对象的字典。模型名称可以是 {gpt4, bing_chat, rr_sphere_gpt4, rr_gs_gpt4, post_hoc_sphere_gpt4, post_hoc_gs_gpt4} 之一。
• metadata：包含以下字段：
  • question_type：用 "|" 分隔的问题类型。
  • field：标注者所属的领域。
  • specific_field：更具体的领域名称。

每个 Answer 对象包含以下字段：

• answer_string：答案字符串。
• attribution：答案的证据列表（不与特定声明关联）。
• claims：答案的 Claim 对象列表。
• revised_answer_string：标注者修订的答案。
• usefulness：标注者标记的原始答案的有用性。
• annotation_time：标注此答案所花费的时间。
• annotator_id：验证此答案的匿名标注者 ID。

每个 Claim 对象包含以下字段：

• claim_string：原始声明字符串。
• evidence：声明的证据列表（URL+段落或 URL）。
• support：标注者标记的归属。
• reason_missing_support：标注者指定的缺少支持的原因。
• informativeness：标注者标记的声明对问题的信息性。
• worthiness：标注者标记的引用声明的价值。
• correctness：标注者标记的声明的事实正确性。
• reliability：标注者标记的来源证据的可靠性。
• revised_claim：标注者修订的声明。
• revised_evidence：标注者修订的证据。

引用信息

@inproceedings{malaviya23expertqa, title = {ExpertQA: Expert-Curated Questions and Attributed Answers}, author = {Chaitanya Malaviya and Subin Lee and Sihao Chen and Elizabeth Sieber and Mark Yatskar and Dan Roth}, booktitle = {arXiv}, month = {September}, year = {2023}, url = "https://arxiv.org/abs/2309.07852" }

搜集汇总

数据集介绍

构建方式

ExpertQA数据集由来自32个不同领域的专家精心构建，旨在评估语言模型在专业问题回答中的事实性与归因能力。专家们首先提出领域特定问题，随后由模型生成答案，专家对这些答案进行逐项验证与修订。每个答案中的每条声明均被独立评估，涵盖信息量、事实准确性、可引用性、证据支持度及来源可靠性等多维属性。专家进一步修正原始声明，确保其事实无误并有可信来源支撑，最终形成包含2177个样本的高质量数据集。

使用方法

ExpertQA主要通过HuggingFace Datasets库加载使用，支持多种配置。用户可使用`load_dataset`函数加载主数据集，包含2177个样本，适用于评估事实性与归因方法。`lfqa_domain`与`lfqa_rand`配置分别提供基于领域和随机的训练、测试与验证划分，专为长文本问答系统设计。数据集字段结构清晰，包括问题、专家ID、模型答案及详细声明对象，便于提取声明、证据及专家标注进行深入分析。用户可直接从GitHub仓库获取额外文件以扩展使用场景。

背景与挑战

背景概述

ExpertQA数据集由Chaitanya Malaviya等研究者于2023年创建，旨在评估大语言模型在专业领域问答中的事实准确性与归因可靠性。随着语言模型在长文本生成中的广泛应用，其输出内容常因缺乏可验证的引用而引发信任危机。该数据集汇集了来自32个不同领域的专家撰写的2177个问题及对应的模型生成答案，每个答案中的声明-证据对均经过专家逐条标注，涵盖信息性、事实性、可引用性及证据来源可靠性等维度。通过引入专家修订机制，数据集不仅揭示了模型在专业场景下的常见错误模式，还为长文本问答系统的鲁棒性评估提供了标准化基准，对推动可信AI在知识密集型领域的发展具有重要影响。

当前挑战

ExpertQA面临的核心挑战包括：首先，语言模型在医学、法律等高风险领域生成的答案常出现事实性错误或虚假引用，现有自动评估方法难以精准识别此类细微偏差，亟需更精细的归因度量标准。其次，数据构建过程中，32个领域的专家需对模型输出的每个声明进行逐条验证与修订，标注成本极高且易受主观判断差异影响，如何平衡标注粒度与效率成为难题。此外，不同领域的问题类型（如对比分析、因果推断）对归因要求各异，现有模型在处理跨领域长文本时仍存在证据链断裂或来源可靠性不足的问题，限制了其在专业场景中的实际部署价值。

常用场景

经典使用场景

ExpertQA数据集的核心经典使用场景在于评估大语言模型在专业领域知识问答中的事实准确性（factuality）与归因可靠性（attribution）。该数据集由横跨32个不同领域的专家精心构建，包含2177个高质量问答实例。每个模型生成的答案都被专家逐条标注，涵盖信息量、事实正确性、可引用性、证据支持度及来源可信度等多个维度。研究者可利用该数据集对模型在特定领域内生成的回答进行全面的事实性校验，从而衡量模型输出是否忠实于可靠知识源，而非产生幻觉或错误信息。这一场景尤为适合检验模型在科学、医学、法律等对准确性要求极高的垂直领域中的表现，为开发更可信赖的语言模型提供了坚实的评估基准。

解决学术问题

ExpertQA数据集旨在解决长期困扰自然语言处理领域的两个核心学术难题：其一是如何系统性地评估大语言模型在专业领域问答中的事实性，其二是如何量化模型输出的归因质量。传统问答数据集多依赖众包或自动构建，缺乏对事实细节的严格审核与领域专业性的把控。ExpertQA通过引入领域专家对每个答案中的每一个声明（claim）及其对应证据进行逐条校验，创造性地提出了对信息量、事实正确性、可引用性、证据支持度和来源可靠性等多维度的精细标注体系。这一设计填补了现有基准中缺乏专家级事实性评估的空白，为研究模型幻觉（hallucination）、知识边界和证据推理等前沿问题提供了标准化的实验平台，推动了可信AI评估方法论的发展。

实际应用

在实际应用层面，ExpertQA数据集为构建和部署高可靠性知识问答系统提供了关键支撑。例如，在医疗咨询场景中，系统需确保对疾病诊断或治疗方案的回复严格基于循证医学证据；在法律咨询场景中，回答必须准确引用法条和判例。ExpertQA所引入的专家审核与归因标注机制，可直接用于训练和评估此类系统的事实性验证模块，帮助开发者识别模型何时会捏造虚假信息或错误引用来源。此外，该数据集还可服务于企业级知识库问答系统的质量监控，通过定期抽样评估模型输出的归因准确率，确保在金融分析、科学研究、教育辅导等专业场景中，AI辅助工具的输出始终维持高标准的可靠性。

数据集最近研究

最新研究方向

ExpertQA数据集聚焦于专家驱动的长文本问答与归因可信度评估，代表了当前大语言模型领域从通用能力向专业化、可验证方向演进的前沿趋势。随着GPT-4等模型在复杂知识问答中广泛应用，如何确保其输出的事实准确性与引用可靠性成为核心挑战。该数据集覆盖32个专业领域，由领域专家手工构建问题并验证模型生成的答案，对每条声明进行信息量、事实性、引用价值及证据来源可信度的多维标注，还包含修正后的黄金标准答案。这一设计直接回应了模型幻觉与证据追溯难题，为评估和提升模型在专业场景下的归因能力提供了基准。其研究意义在于推动LLM从‘流畅生成’向‘可解释、可验证’转型，对医疗、法律等高风险领域的AI落地具有关键影响。