shidowake/cosmopedia-japanese-20k_from_aixsatoshi_filtered

---
dataset_info:
features:
- name: format
dtype: string
- name: seed_data
dtype: string
- name: english
dtype: string
- name: japanese
dtype: string
- name: audience
dtype: string
- name: english_token_length
dtype: int64
- name: japanese_token_length
dtype: int64
- name: japanese_english_token_length_ratio
dtype: float64
splits:
- name: train
num_bytes: 140429709
num_examples: 17965
download_size: 80240704
dataset_size: 140429709
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

原始信息汇总

数据集概述

数据集特征

• format: 数据类型为字符串。
• seed_data: 数据类型为字符串。
• english: 数据类型为字符串。
• japanese: 数据类型为字符串。
• audience: 数据类型为字符串。
• english_token_length: 数据类型为整数（int64）。
• japanese_token_length: 数据类型为整数（int64）。
• japanese_english_token_length_ratio: 数据类型为浮点数（float64）。

数据集分割

• train: 包含17965个样本，总字节数为140429709。

数据集大小

• 下载大小: 80240704字节。
• 数据集大小: 140429709字节。

配置

• default: 包含训练数据文件，路径为data/train-*。