WikiArticles
收藏资源简介:
WikiArticles数据集由Onyx提供,专为AI训练和阅读设计。数据集包含多种语言(英语、泰米尔语、中文、西班牙语、俄语),推荐使用英语版本(en),因为英语在Hugging Face及整个AI行业中应用最为广泛。数据以.xml.bz2格式提供,以确保数据完整性和高压缩率。用户可通过XML解析器或wikiextractor工具将其转换为JSONL格式,用于大型语言模型(LLM)的微调,也可使用兼容BZip2的阅读器直接查看原始XML内容。数据集采用Apache 2.0许可证,允许自由使用、修改和分发。
The WikiArticles dataset, provided by Onyx, is specifically designed for AI training and reading scenarios. It covers multiple languages including English, Tamil, Chinese, Spanish and Russian. The English version (en) is recommended, as English is the most widely used language in the Hugging Face platform and the entire AI industry. The data is distributed in .xml.bz2 format to ensure data integrity and high compression ratio. Users can convert it to JSONL format via an XML parser or the wikiextractor tool for fine-tuning Large Language Models (LLMs), or directly view the original XML content with a BZip2-compatible reader. The dataset is licensed under Apache 2.0, which allows free use, modification and distribution.
WikiArticles 数据集概述
数据集基本信息
- 数据集名称: WikiArticles
- 创建者/提供者: Onyx
- 许可证: Apache License 2.0
- 语言: 英语 (en)、泰米尔语 (ta)、中文 (zh)、西班牙语 (es)、俄语 (ru)
数据集用途与推荐
- 主要用途: 设计用于AI训练和阅读。
- 使用推荐: 建议下载**EnglishWiki (en)**版本,因为英语在Hugging Face或AI行业中几乎所有AI模型中都内置支持。
数据格式与使用方法
- 原始数据格式:
.xml.bz2格式,以确保数据完整性和高压缩率。 - 用于训练: 建议使用XML解析器或
wikiextractor工具将其转换为JSONL格式,以便于大语言模型(LLM)的微调。 - 用于阅读: 可使用任何兼容BZip2的阅读器查看原始XML知识内容。
许可证信息
- 本项目采用Apache License 2.0许可证。
- 用户可以自由使用、修改和分发此数据,但需遵守Apache 2.0许可证的条款。



