zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_sg-001
收藏Hugging Face2023-05-18 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_sg-001
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是`zh-tw-llm`项目的一部分，使用了`zh-tw-pythia-tokenizer-a8000-v1`分词器，并基于`translations`和`sharegpt`构建。数据集包含训练集和测试集，分别有206319和300行数据，最大长度为2048。数据集的构建配置包括翻译设置和ShareGPT设置，翻译设置涉及源数据集、语言键、模板、行限制等，ShareGPT设置涉及源数据集、训练输入、语言比例、行限制等。
该数据集是`zh-tw-llm`项目的一部分，使用了`zh-tw-pythia-tokenizer-a8000-v1`分词器，并基于`translations`和`sharegpt`构建。数据集包含训练集和测试集，分别有206319和300行数据，最大长度为2048。数据集的构建配置包括翻译设置和ShareGPT设置，翻译设置涉及源数据集、语言键、模板、行限制等，ShareGPT设置涉及源数据集、训练输入、语言比例、行限制等。
提供机构：
zh-tw-llm-dv
原始信息汇总
数据集概述
基本信息
- 数据集大小: 355884981.0 字节
- 下载大小: 134906094 字节
特征
- input_ids: 序列类型为 int32
- attention_mask: 序列类型为 int8
- labels: 序列类型为 int64
- preview: 数据类型为 string
分割
- 训练集:
- 字节数: 354002017.0 字节
- 示例数: 206319
- 测试集:
- 字节数: 1882964.0 字节
- 示例数: 300
