llm-book/aio-passages

---
language:
- ja
size_categories:
- 1M<n<10M
license:
- cc-by-sa-3.0
- gfdl
dataset_info:
features:
- name: id
dtype: int32
- name: pageid
dtype: int32
- name: revid
dtype: int32
- name: text
dtype: string
- name: section
dtype: string
- name: title
dtype: string
splits:
- name: train
num_bytes: 3054493919
num_examples: 4288198
download_size: 1110830651
dataset_size: 3054493919
---

# Dataset Card for llm-book/aio-passages

書籍『大規模言語モデル入門』で使用する、「AI王」コンペティションのパッセージデータセットです。
GitHub リポジトリ [cl-tohoku/quiz-datasets](https://github.com/cl-tohoku/quiz-datasets) で公開されているデータセットを利用しています。

## Licence

本データセットで利用している Wikipedia のコンテンツは、[クリエイティブ・コモンズ表示・継承ライセンス 3.0 (CC BY-SA 3.0)](https://creativecommons.org/licenses/by-sa/3.0/deed.ja) および [GNU 自由文書ライセンス (GFDL)](https://www.gnu.org/licenses/fdl.html) の下に配布されているものです。

原始信息汇总

数据集概述

基本信息

• 语言: 日语 (ja)
• 大小: 1M<n<10M
• 许可证:
  • 知识共享署名-相同方式共享 3.0 (CC BY-SA 3.0)
  • GNU自由文档许可证 (GFDL)

数据集结构

• 特征:
  • id: int32
  • pageid: int32
  • revid: int32
  • text: string
  • section: string
  • title: string

数据集分割

• 训练集:
  • 字节数: 3054493919
  • 示例数: 4288198

下载与数据集大小

• 下载大小: 1110830651
• 数据集大小: 3054493919