zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_sg-301-c1024-sbldt1
收藏Hugging Face2023-05-19 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-e1-tr_sg-301-c1024-sbldt1
下载链接
链接失效反馈官方服务：
资源简介：
该数据集是`zh-tw-llm`项目的一部分，使用了`zh-tw-pythia-tokenizer-a8000-v1`分词器，并基于`sharegpt`构建。数据集包含6156个训练样本和97个测试样本，最大长度为1024。数据集的配置包括构建方式、预览长度、排序方式、翻译设置和ShareGPT设置。翻译设置中，源数据集为`zetavg/coct-en-zh-tw-translations-twp-300k`，语言键为英文和中文，使用了随机模板，并限制了行数和测试集大小。ShareGPT设置中，源数据集为`zetavg/ShareGPT-Processed`，训练时不使用输入，语言比例为英文0.4和繁体中文，限制了行数和测试集大小。
提供机构：
zh-tw-llm-dv
原始信息汇总
数据集概述
基本信息
- 数据集大小: 54170374.219814844 字节
- 下载大小: 15314618 字节
特征描述
- input_ids: 序列类型为 int32
- attention_mask: 序列类型为 int8
- labels: 序列类型为 int64
- preview: 数据类型为 string
- length: 数据类型为 int64
数据分割
- 训练集:
- 样本数量: 6156
- 数据大小: 53254784.429814845 字节
- 测试集:
- 样本数量: 97
- 数据大小: 915589.79 字节
