Hyukkyu/beir-fever

---
license: apache-2.0
task_categories:
- information-retrieval
- text-retrieval
tags:
- beir
- fever
- information-retrieval
- retrieval
- search
configs:
- config_name: corpus
data_files:
- split: train
path: corpus/train-*
- config_name: queries
data_files:
- split: train
path: queries/train-*
dataset_info:
- config_name: corpus
features:
- name: metadata
dtype: 'null'
- name: title
dtype: string
- name: _id
dtype: string
- name: text
dtype: string
splits:
- name: train
num_bytes: 3095105800
num_examples: 5416568
download_size: 1953809592
dataset_size: 3095105800
- config_name: queries
features:
- name: metadata
dtype: string
- name: text
dtype: string
- name: _id
dtype: string
splits:
- name: train
num_bytes: 28132663
num_examples: 123142
download_size: 11838211
dataset_size: 28132663
---

# BEIR FEVER Dataset (Migrated)

This is a migrated version of BeIR/fever that is compatible with datasets library 4.0.0+.

## Dataset Description

This dataset contains the fever dataset from the BEIR benchmark, converted from the old script-based format to Parquet format.

## Dataset Structure

### Queries

- **Split 'queries'**: 123,142 examples
- Features: ['_id', 'text', 'metadata']

- **Total examples**: 123,142

### Corpus

- **Split 'corpus'**: 5,416,568 examples
- Features: ['_id', 'title', 'text', 'metadata']

- **Total examples**: 5,416,568

## Usage

```python
from datasets import load_dataset

# Load queries (split: queries)
queries = load_dataset("Hyukkyu/beir-fever", "queries", split="queries")

# Load corpus (split: corpus)
corpus = load_dataset("Hyukkyu/beir-fever", "corpus", split="corpus")
```

## Available Splits

### Queries
- `queries`: 123,142 examples

### Corpus
- `corpus`: 5,416,568 examples

## Original Dataset

This dataset is migrated from: BeIR/fever

## Citation

If you use this dataset, please cite the original BEIR paper:

```bibtex
@article{thakur2021beir,
title={BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Thakur, Nandan and Reimers, Nils and Ruckle, Andreas and Srivastava, Abhishek and Gurevych, Iryna},
journal={arXiv preprint arXiv:2104.08663},
year={2021}
}
```

---
license: apache-2.0
任务类别：
- 信息检索
- 文本检索
标签：
- BEIR
- FEVER
- 信息检索
- 检索
- 搜索
配置项：
- 配置名称：语料库（corpus）
数据文件：
- 划分集：训练集（train）
路径：corpus/train-*
- 配置名称：查询集（queries）
数据文件：
- 划分集：训练集（train）
路径：queries/train-*
数据集信息：
- 配置名称：语料库（corpus）
特征：
- 名称：元数据（metadata），数据类型：null
- 名称：标题（title），数据类型：字符串（string）
- 名称：_id，数据类型：字符串（string）
- 名称：文本（text），数据类型：字符串（string）
划分集：
- 名称：训练集（train），字节数：3095105800，样本数：5416568
下载大小：1953809592
数据集总大小：3095105800
- 配置名称：查询集（queries）
特征：
- 名称：元数据（metadata），数据类型：字符串（string）
- 名称：文本（text），数据类型：字符串（string）
- 名称：_id，数据类型：字符串（string）
划分集：
- 名称：训练集（train），字节数：28132663，样本数：123142
下载大小：11838211
数据集总大小：28132663
---

# BEIR FEVER 迁移版数据集（BEIR FEVER Dataset (Migrated)）

本数据集为BeIR/fever的迁移版本，兼容数据集库（datasets）4.0.0及以上版本。

## 数据集描述
本数据集包含BEIR基准（BEIR）中的FEVER数据集，已从旧的脚本式格式转换为Parquet格式。

## 数据集结构
### 查询集（Queries）
- **划分集"queries"**：123,142个样本
- 特征：['_id', 'text', 'metadata']
- **总样本数**：123,142

### 语料库（Corpus）
- **划分集"corpus"**：5,416,568个样本
- 特征：['_id', 'title', 'text', 'metadata']
- **总样本数**：5,416,568

## 使用方法
python
from datasets import load_dataset

# 加载查询集（划分集：queries）
queries = load_dataset("Hyukkyu/beir-fever", "queries", split="queries")

# 加载语料库（划分集：corpus）
corpus = load_dataset("Hyukkyu/beir-fever", "corpus", split="corpus")

## 可用划分
### 查询集
- `queries`：123,142个样本

### 语料库
- `corpus`：5,416,568个样本

## 原始数据集
本数据集迁移自：BeIR/fever

## 引用
若使用本数据集，请引用原始BEIR论文：
bibtex
@article{thakur2021beir,
title={BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models},
author={Thakur, Nandan and Reimers, Nils and Ruckle, Andreas and Srivastava, Abhishek and Gurevych, Iryna},
journal={arXiv preprint arXiv:2104.08663},
year={2021}
}