zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-it1-sg-001
收藏Hugging Face2023-05-18 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/zh-tw-llm-dv/zh-tw-pythia-ta8000-v1-it1-sg-001
下载链接
链接失效反馈官方服务：
资源简介：
---
dataset_info:
dataset_size: 125318970.0
download_size: 36093839
features:
- name: input_ids
sequence: int32
- name: attention_mask
sequence: int8
- name: labels
sequence: int64
- dtype: string
name: preview
splits:
- name: train
num_bytes: 123951700.0
num_examples: 8150
- name: test
num_bytes: 1367270.0
num_examples: 84
---
# zh-tw-pythia-ta8000-v1-it1-sg-001
This dataset is a part of the `zh-tw-llm` project.
* Tokenizer: `zh-tw-pythia-tokenizer-a8000-v1`
* Built with: `sharegpt`
* Rows: `train` `8150`, `test` `84`
* Max length: `2048`
* Full config:
```json
{"build_with": ["sharegpt"], "preview_length": 512, "sharegpt_settings": {"source_dataset": "zetavg/ShareGPT-Processed", "train_on_inputs": false, "languages": [{"en": 0.3}, {"zh": 0.2}, "zh_Hant"], "rows_limit": 10000, "test_size": 0.01, "test_split_seed": 42, "test_rows_limit": 100}}
```
提供机构：
zh-tw-llm-dv
原始信息汇总
数据集概述
基本信息
- 数据集大小: 125318970.0 字节
- 下载大小: 36093839 字节
特征信息
- input_ids: 序列类型为 int32
- attention_mask: 序列类型为 int8
- labels: 序列类型为 int64
- preview: 数据类型为字符串
数据分割
- 训练集:
- 字节数: 123951700.0
- 样本数: 8150
- 测试集:
- 字节数: 1367270.0
- 样本数: 84
