wentingzhao/WildHallucinations

---
dataset_info:
features:
- name: entity
dtype: string
- name: perplexity
dtype: float64
- name: info
list:
- name: status_code
dtype: int64
- name: text
dtype: string
- name: url
dtype: string
- name: category
dtype: string
- name: wiki
dtype: int64
splits:
- name: train
num_bytes: 1944535165
num_examples: 7917
download_size: 1406426092
dataset_size: 1944535165
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
license: mit
task_categories:
- text-generation
language:
- en
size_categories:
- 1K<n<10K
---

WildHallucinations is designed for evaluating the factuality of LLMs.
Its core idea is to prompt LLMs to generate and fact-check information about a diverse set of entities.
WildHallucinations consists of 7917 entities extracted from WildChat and a knowledge source.
These entities come from English conversations that are marked as non-toxic.
As described in the main paper, we apply extensive filtering for quality control,
especially for removing entities with more than one meaning.
The knowledge source is constructed from Google search API. We scrape the top 10 web pages for each entity.
Additional cleaning process can be found in the paper.

To use the dataset:
```
from datasets import load_dataset
ds = load_dataset("wentingzhao/WildHallucinations", split="train")
```

Dataset Columns:
* entity (string): the entity name
* perplexity (float): the perplexity of the entity measured by the Llama-3-8B model
* info (string): the web information about the entity scraped from Google search results
* category (string): the category of the entity annotated by either an author or GPT-4o
* wiki (Boolean): whether any information about the entity comes from wikipedia.org

数据集信息：
特征字段：
- 名称：实体（entity），数据类型：字符串
- 名称：困惑度（perplexity），数据类型：64位浮点数
- 名称：信息（info），类型为列表：
- 名称：状态码（status_code），数据类型：64位整数
- 名称：文本（text），数据类型：字符串
- 名称：统一资源定位符（URL），数据类型：字符串
- 名称：类别（category），数据类型：字符串
- 名称：维基百科标识（wiki），数据类型：64位整数
划分集：
- 名称：训练集（train），字节数：1944535165，样本数：7917
下载大小：1406426092
数据集总大小：1944535165
配置项：
- 配置名称：默认配置（default），数据文件：
- 划分集：训练集，路径：data/train-*
许可证：MIT许可证（mit）
任务类别：
- 文本生成（text-generation）
语言：
- 英语（en）
样本规模类别：
- 1000 < 样本数 < 10000

WildHallucinations 数据集专为评估大语言模型（Large Language Model, LLM）的事实一致性而设计。其核心思路为通过提示大语言模型生成并事实核查涵盖多样化实体的相关信息。
WildHallucinations 共包含7917个实体，这些实体均从 WildChat 及一个知识源中提取得到。这些实体均源自标注为无毒性的英语对话语料。
正如主论文中所述，本数据集采用了多轮精细化过滤以实现质量管控，尤其针对移除存在多义性的实体。该知识源基于谷歌搜索应用程序编程接口（Google Search API）构建，我们为每个实体抓取了排名前十的网页内容。更多的数据清洗流程细节可参阅主论文。

数据集使用方法如下：

from datasets import load_dataset
ds = load_dataset("wentingzhao/WildHallucinations", split="train")

数据集字段说明：
* 实体（entity）：实体名称，数据类型为字符串
* 困惑度（perplexity）：由 Llama-3-8B 模型测算得到的该实体的困惑度值
* 信息（info）：从谷歌搜索结果中抓取的该实体相关网页信息
* 类别（category）：由标注人员或 GPT-4o 模型标注的该实体所属类别
* 维基百科标识（wiki）：该实体的相关信息是否源自 wikipedia.org 网站

原始信息汇总

数据集概述

数据集特征

• entity: 数据类型为字符串 (string)
• perplexity: 数据类型为浮点数 (float64)
• info: 包含以下子特征
  • status_code: 数据类型为整数 (int64)
  • text: 数据类型为字符串 (string)
  • url: 数据类型为字符串 (string)
• category: 数据类型为字符串 (string)
• wiki: 数据类型为整数 (int64)

数据集划分

• train: 包含7917个示例，数据大小为1944535165字节

数据集大小

• 下载大小: 1406426092字节
• 数据集大小: 1944535165字节

配置信息

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

许可信息

• 许可证: MIT

任务类别

• text-generation

语言

• en

大小类别

• 1K<n<10K