Ankush-Chander/cricket-wiki
收藏官方服务：
资源简介：
该数据集是一个基于Wikipedia英文文章的板球相关问答数据集，通过提取和筛选Wikipedia中与板球相关的内容构建而成。
This dataset is a cricket-related question answering dataset based on English Wikipedia articles, constructed by extracting and filtering cricket-relevant content from Wikipedia.
提供机构：
Ankush-Chander原始信息汇总
数据集概述
基本信息
- 许可证：Apache 2.0
- 任务类别：问答
- 语言：英语
- 标签：板球
- 数据规模：10K<n<100K
数据准备步骤
-
安装
wikiextractor： bash pip install wikiextractor -
下载维基百科数据： bash wget -c https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles-multistream.xml.bz2
-
使用
wikiextractor提取文件（耗时数小时）： bash python3 -m wikiextractor.WikiExtractor enwiki-latest-pages-articles-multistream.xml.bz2 --json -
提取与板球相关的记录到单独的文件（耗时数分钟）： bash grep -i cricket text// > cricket.jsonl
