llm-jp/llm-jp-longbench-JEMHop

---
language:
- ja
license: cc-by-sa-4.0
task_categories:
- question-answering
task_types:
- extractive-qa
- multi-hop-qa
pretty_name: llm-jp-longbench-JEMHopQA
dataset_tags:
- japanese
- long-context
- multi-hop
- explainable-qa
- benchmarking
---

# llm-jp-longbench-JEMHopQA

## llm-jp LongBench ベンチマークについて

このデータセットは，GitHub リポジトリ
https://github.com/llm-jp/llm-jp-longbench
で公開されているllm-jp LongBenchベンチマークの評価対象データセットの一部として構築されています。

llm-jp LongBench ベンチマークは，日本語大型言語モデル（LLM）の
ロングコンテキスト処理能力を体系的に評価することを目的としており，
複数の長文コンテキスト QA データセットを含んでいます。

本データセットはその一つです。

---

## データセット概要

本データセットは、日本語の説明可能マルチホップ質問応答データセットJEMHopQA
（Ishii et al., 2024）を基に、Wikipedia記事を付与することで構築した
ロングコンテキストQA評価用データセットです。

最大65,536トークン規模の入力を想定しており、LLMのロングコンテキスト処理能力を評価することを目的としています。

---

## 元データセットと改変内容

### 元データセット

- JEMHopQA
- 回答導出ステップ情報を含む、日本語の根拠付きマルチホップ QA データセット
- ライセンス：CC BY-SA 4.0
- 出典：Ishii et al. (2024)

### 本データセットで行った改変

本データセットはJEMHopQAを基にした派生データセットです（CC BY-SA 4.0 準拠）。

以下の改変を行っています。

- 各質問に対し、日本語 Wikipedia 記事をコンテキストとして付与

派生物であるため、ライセンスはCC BY-SA 4.0を継承しています。

---

## データ構造

各サンプルは以下のカラムを持ちます。

| カラム名 | 説明 |
|--------|------|
| `qid` | 質問 ID |
| `question` | 質問文（日本語） |
| `context` | Wikipedia 由来の長文コンテキスト |
| `answer` / `gold` | 正解回答 |

主に以下のファイルで構成されています。

- `jemhop_with_context.csv`（評価用）

| トークン長の範囲 | 平均トークン長 | 質問数 |
|---|---:|---:|
| 0以上8K未満 | 5,453 | 126 |
| 8K以上16K未満 | 12,388 | 262 |
| 16K以上32K未満 | 23,485 | 332 |
| 32K以上64K未満 | 46,048 | 258 |
| 64K以上 | 96,293 | 81 |

上表は、JEMHopQA を基に構築した本データセットにおける、
各質問に付与されたコンテキストのトークン長分布を示しています。ここで，K=1,024とします。

---

## 使用例

```python
from datasets import load_dataset

dataset = load_dataset("llm-jp/llm-jp-longbench-jemhop")
```

---

## 参考文献

* Ai Ishii, Naoya Inoue, Hisami Suzuki, and Satoshi Sekine. 2024. JEMHopQA: Dataset for Japanese Explainable Multi-Hop Question Answering. In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), pages 9515–9525, Torino, Italia. ELRA and ICCL.