TaiyouIllusion/wiki40b_binidx

Name: TaiyouIllusion/wiki40b_binidx
Creator: TaiyouIllusion
Published: 2023-07-29 09:13:03
License: 暂无描述

Hugging Face2023-07-29 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/TaiyouIllusion/wiki40b_binidx

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: other ---

提供机构：

TaiyouIllusion

原始信息汇总

数据集概述

许可证信息

许可证类型：其他（other）

TaiyouIllusion/wiki40b_ja_plain

--- license: other ---

Hugging Face2023-07-26 更新20

wiki40b

# Dataset Card for "wiki40b" ## Table of Contents - [Dataset Description](#dataset-description) - [Dataset Summary](#dataset-summary) - [Supported Tasks and Leaderboards](#supported-tasks-and-le

魔搭社区2025-12-05 更新60

google/wiki40b

Wiki-40B 数据集是一个多语言数据集，包含多种语言的维基百科文章。该数据集为每种语言提供了不同的配置，包括 wikidata_id、text 和 version_id 等特征。每种语言配置都包含训练、验证和测试的分割，并提供了具体的字节大小和示例数量。该数据集适用于自然语言处理任务，并提供多种语言的下载。

Hugging Face2024-03-11 更新870

Wiki-40B

Clean-up text for 40+ Wikipedia languages editions of pages correspond to entities. The datasets have train/dev/test splits per language. The dataset is cleaned up by page filtering to remove disambig

OpenXLab00

Wiki-40B

该数据集包含了经过清理的英文维基百科文本，并划分为训练集和验证集。此外，该数据集被用于涉及稳定扩散和OPT语言模型的量化实验。具体任务是对使用英文维基百科子集的量化模型进行评估。

arXiv40