llm-jp/llm-jp-longbench-NIILC

---
language:
- ja
license: cc-by-sa-4.0
task_categories:
- question-answering
task_types:
- extractive-qa
pretty_name: llm-jp-longbench-NIILC
dataset_tags:
- japanese
- long-context
- wikipedia
- benchmarking
---

# llm-jp-longbench-NIILC

## llm-jp LongBench ベンチマークについて

このデータセットは，GitHub リポジトリ
https://github.com/llm-jp/llm-jp-longbench
で公開されているllm-jp LongBenchベンチマークの評価対象データセットの一部として構築されています。

llm-jp LongBench ベンチマークは，日本語大型言語モデル（LLM）の
ロングコンテキスト処理能力を体系的に評価することを目的としており，
複数の長文コンテキスト QA データセットを含んでいます。

本データセットはその一つです。

---

## データセット概要

本データセットは，日本語質問応答データセット NIILC
（Sekine, 2003）を基に，
回答が一意に定まり，かつ時間によって正解が変化しない質問のみを選別し，
それらに対応する Wikipedia 記事をコンテキストとして付与することで構築した，
ロングコンテキスト QA 評価用データセットです。

LLMの長文コンテキスト下における日本語 QA 性能を評価することを目的としています。

---

## 元データセットと改変内容

### 元データセット

- NIILC
- 質問応答システム研究のために構築された日本語 QA データセット
- 出典：Sekine (2003)

### 本データセットで行った改変

本データセットは NIILC を基にした派生データセットです。

以下の改変を行っています。

- 回答が一意に定まる質問のみを抽出
- 時間依存的に正解が変化しない質問のみを使用
- 各質問に対し，回答の根拠となる日本語 Wikipedia 記事を付与

派生物であるため，本データセットは CC BY-SA 4.0 ライセンスの下で公開されています。

---

## データ構造

各サンプルは以下のカラムを持ちます。

| カラム名 | 説明 |
|--------|------|
| `question_id` | 質問 ID |
| `question` | 質問文（日本語） |
| `context` | Wikipedia 由来の長文コンテキスト |
| `answer` / `gold` | 正解回答 |

主に以下のファイルで構成されています。

- `niilc_test_with_context.csv`
- `niilc_dev_with_context.csv`

---

## 使用例

```python
from datasets import load_dataset

dataset = load_dataset("llm-jp/llm-jp-longbench-niilc")
```

---

## 参考文献

* Satoshi Sekine. 2003. Development of a question answering system focused on an encyclopedia. 9th Annual Meeting of the Association for Natural Language Processing. (in Japanese)