philschmid/llama2-german-corpus-tokenized-llama-chunk-4096
收藏Hugging Face2023-08-18 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/philschmid/llama2-german-corpus-tokenized-llama-chunk-4096
下载链接
链接失效反馈官方服务：
资源简介：
该数据集包含预处理过的德语文本数据，用于训练语言模型。数据集特征包括input_ids, token_type_ids, attention_mask, 和 labels，分别对应整数序列。数据集分为训练集，大小为1190392538880字节，包含20753008个示例。
该数据集包含预处理过的德语文本数据，用于训练语言模型。数据集特征包括input_ids, token_type_ids, attention_mask, 和 labels，分别对应整数序列。数据集分为训练集，大小为1190392538880字节，包含20753008个示例。
提供机构：
philschmid
原始信息汇总
数据集概述
数据集信息
- 特征:
- input_ids: 序列类型为 int32
- token_type_ids: 序列类型为 int8
- attention_mask: 序列类型为 int8
- labels: 序列类型为 int64
数据分割
- 训练集:
- 字节数: 1190392538880
- 样本数: 20753008
数据集大小
- 下载大小: 307400657843
- 数据集大小: 1190392538880
