codelion/finewiki-100M
收藏Hugging Face2025-11-02 更新2025-11-15 收录
下载链接：
https://hf-mirror.com/datasets/codelion/finewiki-100M
下载链接
链接失效反馈官方服务：
资源简介：
这是一个从HuggingFaceFW/finewiki数据集中采样的子集，包含大约1亿个token。该数据集使用无偏随机采样方法（水库采样）从原始数据集HuggingFaceFW/finewiki中选取，以保证每个文档被选中的概率相等，并且没有分布偏差。每个样例包含原始FineWiki数据集中的所有字段，适用于小规模语言模型预训练实验、数据集组成研究、快速原型设计和测试以及低成本训练运行。
This is a sampled subset of the HuggingFaceFW/finewiki dataset containing approximately 100,000,000 tokens. The dataset was created using unbiased random sampling (reservoir sampling) from the original HuggingFaceFW/finewiki to ensure equal probability of document selection and no distribution bias. Each example includes all fields from the original FineWiki dataset and is ideal for small-scale language model pretraining experiments, dataset composition studies, quick prototyping and testing, and low-cost training runs.
提供机构：
codelion
