konwoo/dclm-train-164k-t10x-tsp-d20-shuffled
收藏Hugging Face2025-12-18 更新2025-12-20 收录
下载链接：
https://hf-mirror.com/datasets/konwoo/dclm-train-164k-t10x-tsp-d20-shuffled
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含多个特征，如ngram计数、语言识别（使用fasttext）、丰富的WARC相关元数据（包括内容类型、日期、IP地址、目标URI等）、文本内容、URL以及其他统计指标。数据集包含一个训练集分割，共有164,000个样本，总大小约为1.08 GB。
The dataset includes various features such as ngram counts, language identification (using fasttext), extensive WARC-related metadata (including content type, date, IP address, target URI, etc.), text content, URLs, and other statistical measures. It contains a single train split with 164,000 examples and a total size of approximately 1.08 GB.
提供机构：
konwoo
