LeoLM/TruthfulQA_de

TruthfulQA是一个用于衡量语言模型在生成答案时是否真实的基准测试。该基准测试包含817个问题，涵盖38个类别，包括健康、法律、金融和政治。问题设计成一些人会因错误信念或误解而给出错误答案，模型必须避免从模仿人类文本中学习到的错误答案。

原始信息汇总

数据集概述

数据集名称

• German TruthfulQA

数据集大小

• 小于1000条记录

语言

• 德语 (de)
• 英语 (en)

任务类别

• 多选题 (multiple-choice)

数据集结构

数据字段

• question: 字符串类型，问题描述。
• mc1_targets: 结构体，包含：
  • choices: 字符串序列，选项。
  • labels: 整数序列，标签，其中0表示错误，1表示正确。
• mc2_targets: 结构体，包含：
  • choices: 字符串序列，选项。
  • labels: 整数序列，标签，其中0表示错误，1表示正确。
• question_de: 字符串类型，德语问题描述。
• mc1_targets_de: 结构体，包含：
  • choices: 字符串序列，选项。
  • labels: 整数序列，标签，其中0表示错误，1表示正确。
• mc2_targets_de: 结构体，包含：
  • choices: 字符串序列，选项。
  • labels: 整数序列，标签，其中0表示错误，1表示正确。
• translation_de1: 字符串类型，德语翻译1。
• translation_de2: 字符串类型，德语翻译2。

数据分割

• 验证集 (validation):
  • 字节数: 2153959
  • 示例数: 817

许可证

• Apache License, Version 2.0

引用信息

bibtex @misc{lin2021truthfulqa, title={TruthfulQA: Measuring How Models Mimic Human Falsehoods}, author={Stephanie Lin and Jacob Hilton and Owain Evans}, year={2021}, eprint={2109.07958}, archivePrefix={arXiv}, primaryClass={cs.CL} }