Vaskatr/WikiEvalFacts

WikiEvalFacts数据集是WikiEval数据集的增强版本，它为每个问答对生成了事实陈述，并包含了人类对这些事实陈述的真实性进行的注释。该数据集用于2024年的论文《FaaF: Facts as a Function for the evaluation of generated text》。数据集包含多个列，如问题、来源、真实事实陈述、人类对事实真实性的评估等。

原始信息汇总

WikiEvalFacts

WikiEvalFacts 是 WikiEval 数据集的增强版本，每个 QA 对额外包含生成的真实性陈述和人类对其真实性的标注。

列描述

• question: 可以从给定 Wikipedia 页面回答的问题。
• source: 生成问题和上下文的源 Wikipedia 页面。
• gt_facts: 使用答案和问题列生成的真实性陈述集合。
• human_evaluated_facts_answer: 人类对每个真实性陈述与答案列内容的真实性标注。
• human_evaluated_facts_ungrounded_answer: 人类对每个真实性陈述与无上下文答案列内容的真实性标注。
• human_evaluated_facts_poor_answer: 人类对每个真实性陈述与低相关性答案列内容的真实性标注。
• unique_id: 简单的整数索引。
• answer: 基于 context_v1 的答案。
• ungrounded_answer: 无 context_v1 生成的答案。
• poor_answer: 与 grounded_answer 和 ungrounded_answer 相比相关性较差的答案。
• context_v1: 回答给定问题的理想上下文。
• context_v2: 包含与 context_v1 相比冗余信息的上下文。

搜集汇总

背景与挑战

背景概述

WikiEvalFacts是一个增强版的问答数据集，包含生成的事实陈述和人类对其真实性的标注，用于评估生成文本的质量。数据集包含50个问答对，格式为csv，适用于文本分析和自然语言处理研究。