Eloquent/HalluciGen-PG

HalluciGen Paraphrase Generation数据集包含英语和瑞典语的试验和测试分割，用于Paraphrase Generation场景。数据集的结构包括唯一的标识符、原始模型输入、两个备选释义、标注为幻觉的释义以及幻觉类别。试验数据用于帮助参与者熟悉任务，测试数据分为检测步骤、生成步骤和跨模型评估步骤。

原始信息汇总

HalluciGen Paraphrase Generation 数据集概述

数据集基本信息

• 许可证: cc-by-nc-sa-4.0
• 语言:
  • 英语 (en)
  • 瑞典语 (sv)
• 大小类别: n<1K

数据集配置

配置一: trial

• 分隔符: ,
• 数据文件:
  • 分割: trial_swedish
    • 路径: data/trial_sv.csv
  • 分割: trial_english
    • 路径: data/trial_en.csv

配置二: test_detection

• 分隔符: ,
• 数据文件:
  • 分割: test_detection_swedish
    • 路径: data/test_detection_sv.csv
  • 分割: test_detection_english
    • 路径: data/test_detection_en.csv

配置三: test_generation

• 分隔符: ,
• 数据文件:
  • 分割: test_generation_swedish
    • 路径: data/test_generation_sv.csv
  • 分割: test_generation_english
    • 路径: data/test_generation_en.csv

配置四: cross_model_evaluation

• 分隔符: ,
• 数据文件:
  • 分割: cross_model_evaluation_swedish
    • 路径: data/cross_model_evaluation_sv.csv
  • 分割: cross_model_evaluation_english
    • 路径: data/cross_model_evaluation_en.csv

数据集结构

通用字段

• id: 唯一标识符
• source: 原始模型输入
• hyp1: 第一个替代改写
• hyp2: 第二个替代改写
• label: 标注为幻觉的 hyp1 或 hyp2
• type: 幻觉类别，可能值包括：addition, named-entity, number, conversion, date, tense, negation, gender, pronoun, antonym, natural

特定配置数据结构

Trial Data

• 包含字段: id, source, hyp1, hyp2, label, type

Test data for the detection step

• 包含字段: id, source, hyp1, hyp2

Test data for the generation step

• 包含字段: id, source

Test data for the cross-model evaluation of the generation step

• 包含字段: id, source, hyp1, hyp2