pminervini/HaluEval

---
license: apache-2.0
dataset_info:
- config_name: dialogue
features:
- name: knowledge
dtype: string
- name: dialogue_history
dtype: string
- name: right_response
dtype: string
- name: hallucinated_response
dtype: string
splits:
- name: data
num_bytes: 6212598
num_examples: 10000
download_size: 3448632
dataset_size: 6212598
- config_name: dialogue_samples
features:
- name: knowledge
dtype: string
- name: dialogue_history
dtype: string
- name: response
dtype: string
- name: hallucination
dtype: string
splits:
- name: data
num_bytes: 5303515
num_examples: 10000
download_size: 2834937
dataset_size: 5303515
- config_name: general
features:
- name: ID
dtype: string
- name: user_query
dtype: string
- name: chatgpt_response
dtype: string
- name: hallucination
dtype: string
- name: hallucination_spans
sequence: string
splits:
- name: data
num_bytes: 2905898
num_examples: 4507
download_size: 1819331
dataset_size: 2905898
- config_name: qa
features:
- name: knowledge
dtype: string
- name: question
dtype: string
- name: right_answer
dtype: string
- name: hallucinated_answer
dtype: string
splits:
- name: data
num_bytes: 5486422
num_examples: 10000
download_size: 3751109
dataset_size: 5486422
- config_name: qa_samples
features:
- name: knowledge
dtype: string
- name: question
dtype: string
- name: answer
dtype: string
- name: hallucination
dtype: string
splits:
- name: data
num_bytes: 5112196
num_examples: 10000
download_size: 3427901
dataset_size: 5112196
- config_name: summarization
features:
- name: document
dtype: string
- name: right_summary
dtype: string
- name: hallucinated_summary
dtype: string
splits:
- name: data
num_bytes: 46408787
num_examples: 10000
download_size: 27990918
dataset_size: 46408787
- config_name: summarization_samples
features:
- name: document
dtype: string
- name: summary
dtype: string
- name: hallucination
dtype: string
splits:
- name: data
num_bytes: 42743472
num_examples: 10000
download_size: 25506458
dataset_size: 42743472
configs:
- config_name: dialogue
data_files:
- split: data
path: dialogue/data-*
- config_name: dialogue_samples
data_files:
- split: data
path: dialogue_samples/data-*
- config_name: general
data_files:
- split: data
path: general/data-*
- config_name: qa
data_files:
- split: data
path: qa/data-*
- config_name: qa_samples
data_files:
- split: data
path: qa_samples/data-*
- config_name: summarization
data_files:
- split: data
path: summarization/data-*
- config_name: summarization_samples
data_files:
- split: data
path: summarization_samples/data-*
---

许可证：Apache-2.0
数据集信息：
- 配置名称：dialogue（对话）
特征列：
- 知识（knowledge）：字符串类型
- 对话历史（dialogue_history）：字符串类型
- 正确回复（right_response）：字符串类型
- 幻觉式回复（hallucinated_response）：字符串类型
数据集划分：
- 划分名称：data，字节数：6212598，样本数量：10000
下载大小：3448632，数据集大小：6212598
- 配置名称：dialogue_samples（对话样本集）
特征列：
- 知识（knowledge）：字符串类型
- 对话历史（dialogue_history）：字符串类型
- 回复（response）：字符串类型
- 幻觉（hallucination）：字符串类型
数据集划分：
- 划分名称：data，字节数：5303515，样本数量：10000
下载大小：2834937，数据集大小：5303515
- 配置名称：general（通用数据集）
特征列：
- ID：字符串类型
- 用户查询（user_query）：字符串类型
- ChatGPT回复（chatgpt_response）：字符串类型
- 幻觉（hallucination）：字符串类型
- 幻觉跨度（hallucination_spans）：字符串序列类型
数据集划分：
- 划分名称：data，字节数：2905898，样本数量：4507
下载大小：1819331，数据集大小：2905898
- 配置名称：qa（问答任务）
特征列：
- 知识（knowledge）：字符串类型
- 问题（question）：字符串类型
- 正确答案（right_answer）：字符串类型
- 幻觉式答案（hallucinated_answer）：字符串类型
数据集划分：
- 划分名称：data，字节数：5486422，样本数量：10000
下载大小：3751109，数据集大小：5486422
- 配置名称：qa_samples（问答样本集）
特征列：
- 知识（knowledge）：字符串类型
- 问题（question）：字符串类型
- 答案（answer）：字符串类型
- 幻觉（hallucination）：字符串类型
数据集划分：
- 划分名称：data，字节数：5112196，样本数量：10000
下载大小：3427901，数据集大小：5112196
- 配置名称：summarization（摘要生成任务）
特征列：
- 源文档（document）：字符串类型
- 正确摘要（right_summary）：字符串类型
- 幻觉式摘要（hallucinated_summary）：字符串类型
数据集划分：
- 划分名称：data，字节数：46408787，样本数量：10000
下载大小：27990918，数据集大小：46408787
- 配置名称：summarization_samples（摘要生成样本集）
特征列：
- 源文档（document）：字符串类型
- 摘要（summary）：字符串类型
- 幻觉（hallucination）：字符串类型
数据集划分：
- 划分名称：data，字节数：42743472，样本数量：10000
下载大小：25506458，数据集大小：42743472
配置项：
- 配置名称：dialogue（对话），数据文件：
- 划分：data，路径：dialogue/data-*
- 配置名称：dialogue_samples（对话样本集），数据文件：
- 划分：data，路径：dialogue_samples/data-*
- 配置名称：general（通用数据集），数据文件：
- 划分：data，路径：general/data-*
- 配置名称：qa（问答任务），数据文件：
- 划分：data，路径：qa/data-*
- 配置名称：qa_samples（问答样本集），数据文件：
- 划分：data，路径：qa_samples/data-*
- 配置名称：summarization（摘要生成任务），数据文件：
- 划分：data，路径：summarization/data-*
- 配置名称：summarization_samples（摘要生成样本集），数据文件：
- 划分：data，路径：summarization_samples/data-*

原始信息汇总

数据集概述

配置名称：dialogue

• 特征：
  • knowledge: 字符串
  • dialogue_history: 字符串
  • right_response: 字符串
  • hallucinated_response: 字符串
• 分割：
  • data: 字节数 6212598，样本数 10000
• 下载大小：3448632 字节
• 数据集大小：6212598 字节

配置名称：dialogue_samples

• 特征：
  • knowledge: 字符串
  • dialogue_history: 字符串
  • response: 字符串
  • hallucination: 字符串
• 分割：
  • data: 字节数 5303515，样本数 10000
• 下载大小：2834937 字节
• 数据集大小：5303515 字节

配置名称：general

• 特征：
  • ID: 字符串
  • user_query: 字符串
  • chatgpt_response: 字符串
  • hallucination: 字符串
  • hallucination_spans: 字符串序列
• 分割：
  • data: 字节数 2905898，样本数 4507
• 下载大小：1819331 字节
• 数据集大小：2905898 字节

配置名称：qa

• 特征：
  • knowledge: 字符串
  • question: 字符串
  • right_answer: 字符串
  • hallucinated_answer: 字符串
• 分割：
  • data: 字节数 5486422，样本数 10000
• 下载大小：3751109 字节
• 数据集大小：5486422 字节

配置名称：qa_samples

• 特征：
  • knowledge: 字符串
  • question: 字符串
  • answer: 字符串
  • hallucination: 字符串
• 分割：
  • data: 字节数 5112196，样本数 10000
• 下载大小：3427901 字节
• 数据集大小：5112196 字节

配置名称：summarization

• 特征：
  • document: 字符串
  • right_summary: 字符串
  • hallucinated_summary: 字符串
• 分割：
  • data: 字节数 46408787，样本数 10000
• 下载大小：27990918 字节
• 数据集大小：46408787 字节

配置名称：summarization_samples

• 特征：
  • document: 字符串
  • summary: 字符串
  • hallucination: 字符串
• 分割：
  • data: 字节数 42743472，样本数 10000
• 下载大小：25506458 字节
• 数据集大小：42743472 字节

数据文件配置

• 配置名称：dialogue
  • data: dialogue/data-*
• 配置名称：dialogue_samples
  • data: dialogue_samples/data-*
• 配置名称：general
  • data: general/data-*
• 配置名称：qa
  • data: qa/data-*
• 配置名称：qa_samples
  • data: qa_samples/data-*
• 配置名称：summarization
  • data: summarization/data-*
• 配置名称：summarization_samples
  • data: summarization_samples/data-*

搜集汇总

背景与挑战

背景概述

HaluEval是一个用于评估大语言模型幻觉的文本数据集，包含对话、问答和摘要等多个子集，总规模约6.4万行。该数据集通过提供对话历史、正确响应和人工生成的幻觉响应，旨在帮助检测和比较模型在内容生成中的准确性，适用于幻觉检测任务的研究和开发。