pminervini/HaluEval

---
license: apache-2.0
dataset_info:
- config_name: dialogue
features:
- name: knowledge
dtype: string
- name: dialogue_history
dtype: string
- name: right_response
dtype: string
- name: hallucinated_response
dtype: string
splits:
- name: data
num_bytes: 6212598
num_examples: 10000
download_size: 3448632
dataset_size: 6212598
- config_name: dialogue_samples
features:
- name: knowledge
dtype: string
- name: dialogue_history
dtype: string
- name: response
dtype: string
- name: hallucination
dtype: string
splits:
- name: data
num_bytes: 5303515
num_examples: 10000
download_size: 2834937
dataset_size: 5303515
- config_name: general
features:
- name: ID
dtype: string
- name: user_query
dtype: string
- name: chatgpt_response
dtype: string
- name: hallucination
dtype: string
- name: hallucination_spans
sequence: string
splits:
- name: data
num_bytes: 2905898
num_examples: 4507
download_size: 1819331
dataset_size: 2905898
- config_name: qa
features:
- name: knowledge
dtype: string
- name: question
dtype: string
- name: right_answer
dtype: string
- name: hallucinated_answer
dtype: string
splits:
- name: data
num_bytes: 5486422
num_examples: 10000
download_size: 3751109
dataset_size: 5486422
- config_name: qa_samples
features:
- name: knowledge
dtype: string
- name: question
dtype: string
- name: answer
dtype: string
- name: hallucination
dtype: string
splits:
- name: data
num_bytes: 5112196
num_examples: 10000
download_size: 3427901
dataset_size: 5112196
- config_name: summarization
features:
- name: document
dtype: string
- name: right_summary
dtype: string
- name: hallucinated_summary
dtype: string
splits:
- name: data
num_bytes: 46408787
num_examples: 10000
download_size: 27990918
dataset_size: 46408787
- config_name: summarization_samples
features:
- name: document
dtype: string
- name: summary
dtype: string
- name: hallucination
dtype: string
splits:
- name: data
num_bytes: 42743472
num_examples: 10000
download_size: 25506458
dataset_size: 42743472
configs:
- config_name: dialogue
data_files:
- split: data
path: dialogue/data-*
- config_name: dialogue_samples
data_files:
- split: data
path: dialogue_samples/data-*
- config_name: general
data_files:
- split: data
path: general/data-*
- config_name: qa
data_files:
- split: data
path: qa/data-*
- config_name: qa_samples
data_files:
- split: data
path: qa_samples/data-*
- config_name: summarization
data_files:
- split: data
path: summarization/data-*
- config_name: summarization_samples
data_files:
- split: data
path: summarization_samples/data-*
---

原始信息汇总

数据集概述

配置名称：dialogue

• 特征：
  • knowledge: 字符串
  • dialogue_history: 字符串
  • right_response: 字符串
  • hallucinated_response: 字符串
• 分割：
  • data: 字节数 6212598，样本数 10000
• 下载大小：3448632 字节
• 数据集大小：6212598 字节

配置名称：dialogue_samples

• 特征：
  • knowledge: 字符串
  • dialogue_history: 字符串
  • response: 字符串
  • hallucination: 字符串
• 分割：
  • data: 字节数 5303515，样本数 10000
• 下载大小：2834937 字节
• 数据集大小：5303515 字节

配置名称：general

• 特征：
  • ID: 字符串
  • user_query: 字符串
  • chatgpt_response: 字符串
  • hallucination: 字符串
  • hallucination_spans: 字符串序列
• 分割：
  • data: 字节数 2905898，样本数 4507
• 下载大小：1819331 字节
• 数据集大小：2905898 字节

配置名称：qa

• 特征：
  • knowledge: 字符串
  • question: 字符串
  • right_answer: 字符串
  • hallucinated_answer: 字符串
• 分割：
  • data: 字节数 5486422，样本数 10000
• 下载大小：3751109 字节
• 数据集大小：5486422 字节

配置名称：qa_samples

• 特征：
  • knowledge: 字符串
  • question: 字符串
  • answer: 字符串
  • hallucination: 字符串
• 分割：
  • data: 字节数 5112196，样本数 10000
• 下载大小：3427901 字节
• 数据集大小：5112196 字节

配置名称：summarization

• 特征：
  • document: 字符串
  • right_summary: 字符串
  • hallucinated_summary: 字符串
• 分割：
  • data: 字节数 46408787，样本数 10000
• 下载大小：27990918 字节
• 数据集大小：46408787 字节

配置名称：summarization_samples

• 特征：
  • document: 字符串
  • summary: 字符串
  • hallucination: 字符串
• 分割：
  • data: 字节数 42743472，样本数 10000
• 下载大小：25506458 字节
• 数据集大小：42743472 字节

数据文件配置

• 配置名称：dialogue
  • data: dialogue/data-*
• 配置名称：dialogue_samples
  • data: dialogue_samples/data-*
• 配置名称：general
  • data: general/data-*
• 配置名称：qa
  • data: qa/data-*
• 配置名称：qa_samples
  • data: qa_samples/data-*
• 配置名称：summarization
  • data: summarization/data-*
• 配置名称：summarization_samples
  • data: summarization_samples/data-*

搜集汇总

背景与挑战

背景概述

HaluEval是一个用于评估大语言模型幻觉的文本数据集，包含对话、问答和摘要等多个子集，总规模约6.4万行。该数据集通过提供对话历史、正确响应和人工生成的幻觉响应，旨在帮助检测和比较模型在内容生成中的准确性，适用于幻觉检测任务的研究和开发。