shidowake/cosmopedia-japanese-20k_from_aixsatoshi_filtered

--- dataset_info: features: - name: format dtype: string - name: seed_data dtype: string - name: english dtype: string - name: japanese dtype: string - name: audience dtype: string - name: english_token_length dtype: int64 - name: japanese_token_length dtype: int64 - name: japanese_english_token_length_ratio dtype: float64 splits: - name: train num_bytes: 140429709 num_examples: 17965 download_size: 80240704 dataset_size: 140429709 configs: - config_name: default data_files: - split: train path: data/train-* ---

原始信息汇总

数据集概述

数据集特征

• format: 数据类型为字符串。
• seed_data: 数据类型为字符串。
• english: 数据类型为字符串。
• japanese: 数据类型为字符串。
• audience: 数据类型为字符串。
• english_token_length: 数据类型为整数（int64）。
• japanese_token_length: 数据类型为整数（int64）。
• japanese_english_token_length_ratio: 数据类型为浮点数（float64）。

数据集分割

• train: 包含17965个样本，总字节数为140429709。

数据集大小

• 下载大小: 80240704字节。
• 数据集大小: 140429709字节。

配置

• default: 包含训练数据文件，路径为data/train-*。