kenhktsui/squad_v2_factuality_v1

该数据集是从squad_v2训练context中衍生出来的，具体步骤如下：1. 运行NER以提取实体。2. 收集人名、日期、组织名称和地点的词汇表。3. 在20%的情况下，随机替换其中一个文本属性（人名、日期、组织名称和地点）。为了保持上下文的一致性，所有其他同名的地方也会被替换。该数据集的目的是评估语言模型是否能检测事实性。

原始信息汇总

数据集概述

基本信息

• 名称: squad_v2_factuality_v1
• 许可证: cc-by-sa-4.0
• 语言: 英语 (en)
• 大小: 10K<n<100K

任务类别

• 文本分类

数据集构建步骤

1. 运行NER以提取实体。
2. 收集人名、日期、组织名和地点的词汇表。
3. 20%的情况下，随机替换文本中的一个属性（人名、日期、组织名或地点），并确保上下文一致性，所有相同名称的地方也会被替换。

数据集目的

• 评估语言模型检测事实性的能力。