ChiTako/japanese-imatrix-calibration

---
license: mit
language:
- ja
- en
pretty_name: Japanese imatrix Calibration Dataset
task_categories:
- text-generation
tags:
- llama.cpp
- imatrix
- calibration
- quantization
- japanese
---

# Japanese imatrix Calibration Dataset (calibration_ja)

llama.cppの`llama-imatrix`用、日本語LLM向けキャリブレーションデータセット。

## 概要

このデータセットは、日本語LLMの量子化（quantization）における精度維持のために、`llama-imatrix`で使用するキャリブレーションデータを目的として構築されました。

## 統計

| 項目 | 値 |
|------|-----|
| チャンク数 | 916 |
| 総文字数 | 400,191 |
| 推定トークン数 | ~200,096 |

## ソース別内訳

| ソース | 文字数 | 割合 | 元のデータセット |
|--------|--------|------|-----------------|
| wikipedia_ja | 82,155 (20.5%) | [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia) | CC BY-SA 4.0 |
| c4_ja | 40,122 (10.0%) | [allenai/c4](https://huggingface.co/datasets/allenai/c4) | CC BY 4.0 |
| fineweb_ja | 34,363 (8.6%) | [hotchpotch/fineweb-2-edu-japanese](https://huggingface.co/datasets/hotchpotch/fineweb-2-edu-japanese) | Apache 2.0 |
| chat_ja | 48,022 (12.0%) | [kunishou/databricks-dolly-15k-ja](https://huggingface.co/datasets/kunishou/databricks-dolly-15k-ja), [fujiki24/ultra-orca-boros-en-ja-v1](https://huggingface.co/datasets/fujiki24/ultra-orca-boros-en-ja-v1) | Apache 2.0 |
| sft_ja | 33,888 (8.5%) | [DataPilot/Zero_SFT_Ja_v3.5](https://huggingface.co/datasets/DataPilot/Zero_SFT_Ja_v3.5), [FreedomIntelligence/alpaca-gpt4-japanese](https://huggingface.co/datasets/FreedomIntelligence/alpaca-gpt4-japanese), [fn-aka-mur/japanese_alpaca_data](https://huggingface.co/datasets/fn-aka-mur/japanese_alpaca_data) | Apache 2.0 / ODC-BY 1.0 |
| code | 20,982 (5.2%) | [codeparrot/github-code](https://huggingface.co/datasets/codeparrot/github-code) | MIT |
| cot_ja | 4,640 (1.2%) | [kanhatakeyama/logical-wizardlm-ja](https://huggingface.co/datasets/kanhatakeyama/logical-wizardlm-ja) | Apache 2.0 |
| tool_agent | 24,996 (6.2%) | [NousResearch/hermes-function-calling-v1](https://huggingface.co/datasets/NousResearch/hermes-function-calling-v1), [glaiveai/glaive-function-calling-v2](https://huggingface.co/datasets/glaiveai/glaive-function-calling-v2) | Apache 2.0 / ODC-BY 1.0 |
| character_roleplay | 40,181 (10.0%) | [FreedomIntelligence/alpaca-gpt4-japanese](https://huggingface.co/datasets/FreedomIntelligence/alpaca-gpt4-japanese) | Apache 2.0 / ODC-BY 1.0 |
| character_behavior | 20,017 (5.0%) | [FreedomIntelligence/alpaca-gpt4-japanese](https://huggingface.co/datasets/FreedomIntelligence/alpaca-gpt4-japanese) | Apache 2.0 / ODC-BY 1.0 |
| wikipedia_en | 5,818 (1.5%) | [wikimedia/wikipedia](https://huggingface.co/datasets/wikimedia/wikipedia) | CC BY-SA 4.0 |

## 使用方法

```bash
# imatrixの生成
./llama-imatrix -m model.gguf -f calibration_ja.txt -ngl 99 --parse-special -o imatrix.gguf

# imatrixを用いた量子化
./llama-quantize --imatrix imatrix.gguf model.gguf model-q4km.gguf Q4_K_M
```

## ライセンス

このデータセットは、元のソースデータセットのライセンスに従います。

- **MIT License** — 本データセットの追加・編集部分
- **CC BY-SA 4.0** — Wikipedia由来部分
- **CC BY 4.0** — C4由来部分
- **Apache 2.0** — FineWeb, Dolly, Hermes, Glaive, Zero_SFT_Ja, logical-wizardlm-ja由来部分
- **MIT** — codeparrot由来部分
- **ODC-BY 1.0** — japanese_alpaca_data由来部分

各ソースの詳細ライセンスは[元のデータセット](https://huggingface.co/datasets)を参照してください。

## 構築方法

`build_ja_imatrix_dataset.py` スクリプトで構築可能です。

```bash
pip install datasets tqdm
python build_ja_imatrix_dataset.py
```

## 注意

- このデータセットは`llama-imatrix`用であり、モデルのファインチューニングや事前学習用ではありません
- データセットには複数のライセンスが混在しています。商用利用の際は各ソースライセンスを遵守してください