mamei16/wikipedia_paragraphs_token_classification

Name: mamei16/wikipedia_paragraphs_token_classification
Creator: mamei16
Published: 2025-10-06 08:56:05
License: 暂无描述

Hugging Face2025-10-06 更新2025-10-25 收录

下载链接：

https://hf-mirror.com/datasets/mamei16/wikipedia_paragraphs_token_classification

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: cc-by-3.0 ---

提供机构：

mamei16

mamei16/multilingual-wikipedia-paragraphs

该数据集用于命名实体识别（NER）任务，支持多种语言。数据集包含注意力掩码、输入ID、标签和命名实体标签。提供不同的配置，每种配置包含训练、验证和测试分割。每个配置的大小和下载大小均有详细说明。

Hugging Face2025-11-14 更新50

mamei16/en-wikipedia-paragraphs-8192

--- dataset_info: config_name: en features: - name: ner_tags list: bool - name: attention_mask list: bool - name: input_ids list: int32 - name: labels list: int8 splits:

Hugging Face2026-05-16 更新00

singletongue/wikipedia-paragraphs

这是一个从维基百科生成的数据集，旨在为自然语言处理研究提供数据。每个条目包含从维基百科页面提取的经过清理的段落文本和维基链接信息，以及有用的元数据，如类别、模板和相关维基数据QID。数据集被组织成多个配置，每个配置对应于特定的维基百科数据转储。每个配置包含训练分割，其中包含字节数和示例数。README还提供了一个数据集使用的示例。

Hugging Face2026-03-13 更新30

mamei16/wikipedia_paragraphs

该数据集由英文维基百科文章构成，文章被段落和空格分隔成tokens，并为每个token分配一个二进制的ner_tag，表示该token是否后接段落分隔。特殊情况下，如果段落分隔前有冒号或段落过短，将不会进行分隔。该数据集用于训练在RAG应用中的chunking模型。

Hugging Face2025-10-16 更新40

Wikipedia Paragraphs

该数据集包含了来自维基百科的2100万个段落，它被用作MATTER模型的一个非结构化知识库。其规模达到了2100万个段落，适用于问答任务。

arXiv70