llm-book/jawiki-paragraphs
收藏Hugging Face2023-06-03 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/llm-book/jawiki-paragraphs
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是用于书籍《大規模言語モデル入門》中的Wikipedia段落数据集，包含了日语Wikipedia的段落信息。数据集的特征包括id、pageid、revid、paragraph_index、title、section、text和html_tag等字段。数据集的规模在1M到10M之间，使用了CC BY-SA 3.0和GFDL许可证。
该数据集是用于书籍《大規模言語モデル入門》中的Wikipedia段落数据集，包含了日语Wikipedia的段落信息。数据集的特征包括id、pageid、revid、paragraph_index、title、section、text和html_tag等字段。数据集的规模在1M到10M之间，使用了CC BY-SA 3.0和GFDL许可证。
提供机构：
llm-book
原始信息汇总
数据集概述
基本信息
- 语言: 日语 (ja)
- 大小: 1M<n<10M
- 许可证:
- 创作共用-署名-相同方式共享 3.0 (CC BY-SA 3.0)
- GNU自由文档许可证 (GFDL)
数据集结构
- 特征:
id: 字符串pageid: 整数64位revid: 整数64位paragraph_index: 整数64位title: 字符串section: 字符串text: 字符串html_tag: 字符串
数据集分割
- 训练集:
- 数据量: 4417130987 字节
- 示例数量: 9668476
下载与数据集大小
- 下载大小: 1489512230 字节
- 数据集大小: 4417130987 字节
