five

vocab-transformers/wiki-en-passages-20210101

收藏
Hugging Face2022-02-24 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/vocab-transformers/wiki-en-passages-20210101
下载链接
链接失效反馈
官方服务:
资源简介:
# wiki-en-passages-20210101 This is a processed dump of the English Wikipedia from 2021-01-01. Each page has been splitted into paragraphs as they appear in the text. Lists, tables and headlines had been removed. In total it has 38,080,804 passages. Further, each article contain meta-data on the number of languages this article exists in and on the number of views this article received over a 1 year period. The articles are sorted from most popular (most languages available, most views) to least popular.
提供机构:
vocab-transformers
原始信息汇总

数据集概述

数据集名称

wiki-en-passages-20210101

数据来源

  • 英文维基百科
  • 数据日期:2021年1月1日

数据处理

  • 每页内容被分割成段落
  • 列表、表格和标题已被移除

数据规模

  • 总共有38,080,804个段落

元数据信息

  • 包含每篇文章在不同语言中的存在数量
  • 包含每篇文章在过去一年内的浏览次数

排序方式

  • 文章按照流行度排序,从最流行(最多语言版本,最多浏览量)到最不流行
5,000+
优质数据集
54 个
任务类型
进入经典数据集
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

数据驱动未来

携手共赢发展

商业合作