xmohri/RedPajama-Data-V2-sample-100B-filtered-shuffled-tokenized-with-token-counts-2500000en
收藏Hugging Face2024-08-20 更新2024-12-14 收录
下载链接：
https://hf-mirror.com/datasets/xmohri/RedPajama-Data-V2-sample-100B-filtered-shuffled-tokenized-with-token-counts-2500000en
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含多个特征，包括文档ID（doc_id）、元数据（meta）、质量信号（quality_signals）、领域（domain）、输入ID（input_ids）、注意力掩码（attention_mask）、特殊令牌掩码（special_tokens_mask）和令牌计数（token_count）。数据集包含一个训练分割，共有1,885,802个样本，总大小为30,391,358,643.73286字节。
The dataset includes multiple features such as document ID (doc_id), metadata (meta), quality signals (quality_signals), domain (domain), input IDs (input_ids), attention mask (attention_mask), special tokens mask (special_tokens_mask), and token count (token_count). It contains a training split with 1,885,802 examples and a total size of 30,391,358,643.73286 bytes.
提供机构：
xmohri
