Ankush-Chander/cricket-wiki

该数据集是一个基于Wikipedia英文文章的板球相关问答数据集，通过提取和筛选Wikipedia中与板球相关的内容构建而成。

原始信息汇总

数据集概述

基本信息

• 许可证：Apache 2.0
• 任务类别：问答
• 语言：英语
• 标签：板球
• 数据规模：10K<n<100K

数据准备步骤

1. 安装 wikiextractor： bash pip install wikiextractor

2. 下载维基百科数据： bash wget -c https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles-multistream.xml.bz2

3. 使用 wikiextractor 提取文件（耗时数小时）： bash python3 -m wikiextractor.WikiExtractor enwiki-latest-pages-articles-multistream.xml.bz2 --json

4. 提取与板球相关的记录到单独的文件（耗时数分钟）： bash grep -i cricket text// > cricket.jsonl