dchaplinsky/wikipar
收藏Hugging Face2025-05-30 更新2025-08-30 收录
下载链接：
https://hf-mirror.com/datasets/dchaplinsky/wikipar
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含从维基媒体维基百科文章中提取的文本段落。每个条目包括：段落文本、源文章的URL、源文章的ID、原始文本中的段落编号、段落的唯一哈希ID以及段落在字符和token（Gemma分词器）中的长度。数据以Parquet格式（zstd压缩）存储。
This dataset contains paragraphs extracted from Wikimedia Wikipedia texts. Each entry includes the paragraph text, the URL of the source article, the ID of the source article, the paragraph number within the original text, a unique hash ID for the paragraph, and the paragraph length in characters and tokens (Gemma tokenizer). The data is formatted in Parquet (zstd compression).
提供机构：
dchaplinsky
