zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_sg-201-c1024
收藏Hugging Face2023-05-19 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_sg-201-c1024
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是`zh-tw-llm`项目的一部分，使用了`zh-tw-pythia-tokenizer-a8000-v1`作为分词器，并且是通过`translations`和`sharegpt`构建的。数据集包含训练集和测试集，分别有205965和195行数据，最大长度为1024。数据集的构建配置详细说明了使用的源数据集、语言键、模板、行数限制等信息。
该数据集是`zh-tw-llm`项目的一部分，使用了`zh-tw-pythia-tokenizer-a8000-v1`作为分词器，并且是通过`translations`和`sharegpt`构建的。数据集包含训练集和测试集，分别有205965和195行数据，最大长度为1024。数据集的构建配置详细说明了使用的源数据集、语言键、模板、行数限制等信息。
提供机构：
zh-tw-llm-dv
原始信息汇总
数据集概述
基本信息
- 数据集大小: 315912726.185796 字节
- 下载大小: 124158066 字节
特征信息
- input_ids: 序列类型为 int32
- attention_mask: 序列类型为 int8
- labels: 序列类型为 int64
- preview: 数据类型为 string
- length: 数据类型为 int64
- messages_count: 数据类型为 int64
数据集分割
- 训练集:
- 数据量: 314946413.435796 字节
- 样本数: 205965
- 测试集:
- 数据量: 966312.75 字节
- 样本数: 195
