BlinkDL/minipile-tokenized

Name: BlinkDL/minipile-tokenized
Creator: BlinkDL
Published: 2023-12-15 23:26:19
License: 暂无描述

Hugging Face2023-12-15 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/BlinkDL/minipile-tokenized

下载链接

链接失效反馈

官方服务：

资源简介：

--- license: apache-2.0 ---

提供机构：

BlinkDL

原始信息汇总

数据集许可证

许可证类型：Apache 2.0

andersonbcdefg/minipile_train_tokenized

--- dataset_info: features: - name: input_ids sequence: int32 - name: targets sequence: int64 splits: - name: train num_bytes: 17885906464 num_examples: 2907332 download_si

Hugging Face2023-04-26 更新50

victorarizz/minipile-tokenized-llama3

这是使用Llama3分词器对JeanKaddour/minipile数据集进行预分词处理的版本。数据集包含152,813个训练样本，总大小为5,007,987,636字节。分词过程使用了SAELens工具，上下文大小为8192，数据被打乱顺序，开始批处理标记为bos，开始序列标记为无，序列分隔符标记为eos。

Hugging Face2024-07-08 更新40

victorarizz/minipile-tokenized-llama3-128

该数据集包含整数序列特征，适用于机器学习模型的训练。它有一个训练集，大小为6108119040字节，包含11837440个样本。数据集的总下载大小为3769254391字节。

Hugging Face2024-07-13 更新30

andersonbcdefg/minipile_val_tokenized

--- dataset_info: features: - name: input_ids sequence: int32 - name: targets sequence: int64 splits: - name: validation num_bytes: 8317504 num_examples: 1352 download_size

Hugging Face2023-04-26 更新50

xz56/minipile-tokenized-llama

Minipile数据集使用了LLamaTokenizer进行分词，上下文长度为2048，大约包含17亿个tokens。数据集包含训练集、验证集和测试集，分别有845326、392和8295个样本。

Hugging Face2024-04-19 更新90