maxidl/FineNews-unfiltered

FineNews-unfiltered数据集是基于Common Crawl News构建的，类似于FineWeb，但专注于新闻数据。该数据集包含2024年5月、4月和3月的新闻数据，涵盖了多种语言，如英语、西班牙语、俄语、意大利语、德语、阿拉伯语、法语、波兰语、葡萄牙语、土耳其语、希腊语、越南语、罗马尼亚语、中文、乌克兰语、韩语、印地语和荷兰语。数据集是未经过滤的版本，仅应用了URL过滤。README还提供了每个数据集的文档数量和磁盘大小，以及一些语言的示例统计数据和顶级域名的分布情况。FineNews-unfiltered数据集是基于Common Crawl News构建的，类似于FineWeb，但专注于新闻数据。该数据集包含2024年5月、4月和3月的新闻数据，涵盖了多种语言，如英语、西班牙语、俄语、意大利语、德语、阿拉伯语、法语、波兰语、葡萄牙语、土耳其语、希腊语、越南语、罗马尼亚语、中文、乌克兰语、韩语、印地语和荷兰语。数据集是未经过滤的版本，仅应用了URL过滤。README还提供了每个数据集的文档数量和磁盘大小，以及一些语言的示例统计数据和顶级域名的分布情况。