vocab-transformers/wiki-en-passages-20210101
收藏Hugging Face2022-02-24 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/vocab-transformers/wiki-en-passages-20210101
下载链接
链接失效反馈官方服务：
资源简介：
# wiki-en-passages-20210101
This is a processed dump of the English Wikipedia from 2021-01-01. Each page has been splitted into paragraphs as they appear in the text. Lists, tables and headlines had been removed. In total it has 38,080,804 passages.
Further, each article contain meta-data on the number of languages this article exists in and on the number of views this article received over a 1 year period.
The articles are sorted from most popular (most languages available, most views) to least popular.
提供机构：
vocab-transformers
原始信息汇总
数据集概述
数据集名称
wiki-en-passages-20210101
数据来源
- 英文维基百科
- 数据日期：2021年1月1日
数据处理
- 每页内容被分割成段落
- 列表、表格和标题已被移除
数据规模
- 总共有38,080,804个段落
元数据信息
- 包含每篇文章在不同语言中的存在数量
- 包含每篇文章在过去一年内的浏览次数
排序方式
- 文章按照流行度排序，从最流行（最多语言版本，最多浏览量）到最不流行
