NickyNicky/aya_dataset_multilingual_chatml_gemma_response_json_V2

--- dataset_info: features: - name: text dtype: string - name: len_tokens dtype: int64 splits: - name: train num_bytes: 125135821 num_examples: 135004 download_size: 24806994 dataset_size: 125135821 configs: - config_name: default data_files: - split: train path: data/train-* datasets: - NickyNicky/aya_dataset_multilingual_inputs_targets_ext1 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext2 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext3 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext4 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext5 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext6 # - NickyNicky/aya_dataset_multilingual_inputs_targets_ext7 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext8 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext9 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext10 language: - es - fr - en - de --- #tokenizer: google/gemma-2b-it ``` datasets: - NickyNicky/aya_dataset_multilingual_inputs_targets_ext1 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext2 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext3 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext4 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext5 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext6 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext8 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext9 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext10 ``` ``` # FORMAT EXAMPLE <bos><start_of_turn>system You are a helpful AI assistant. solo responde en formato json. lista de codigos linguisticos disponibles: ["es", "es"].<end_of_turn> <start_of_turn>user { "input": "es", "targets": "es", "inputs_text": "¿Qué presidente de los Estados Unidos nunca se ha casado?", }<end_of_turn> <start_of_turn>model { "targets": "es", "targets_es": "James Buchanan es el único presidente que nunca se casó." }<end_of_turn><eos> ``` # hist len_tokens  # describe.  # percentil. 数据集信息： 特征： - 名称：text，数据类型：字符串 - 名称：len_tokens（Token长度），数据类型：64位整型 划分集： - 名称：训练集（train），字节数：125135821，样本数：135004 下载大小：24806994，数据集总大小：125135821 配置项： - 配置名称：默认配置（default），数据文件： - 划分集：训练集（train），路径：data/train-* 数据集来源： - NickyNicky/aya_dataset_multilingual_inputs_targets_ext1 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext2 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext3 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext4 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext5 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext6 # - NickyNicky/aya_dataset_multilingual_inputs_targets_ext7 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext8 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext9 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext10 支持语言： - 西班牙语（es） - 法语（fr） - 英语（en） - 德语（de） # 分词器：google/gemma-2b-it datasets: - NickyNicky/aya_dataset_multilingual_inputs_targets_ext1 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext2 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext3 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext4 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext5 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext6 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext8 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext9 - NickyNicky/aya_dataset_multilingual_inputs_targets_ext10 # 格式示例 <bos><start_of_turn>system 您是一位乐于助人的AI助手。 请仅以JSON格式进行回复。 可用语言代码列表：["es", "es"]。<end_of_turn> <start_of_turn>user { "input": "es", "targets": "es", "inputs_text": "美国哪位总统从未结婚？", }<end_of_turn> <start_of_turn>model { "targets": "es", "targets_es": "詹姆斯·布坎南是美国唯一一位从未结过婚的总统。" }<end_of_turn><eos> # Token长度直方图  # 数据集说明  # 百分位数分布 

原始信息汇总

数据集概述

数据集特征

• 文本 (text): 数据类型为字符串。
• 令牌长度 (len_tokens): 数据类型为64位整数。

数据分割

• 训练集 (train): 包含135,004个样本，总大小为125,135,821字节。

数据集大小

• 下载大小: 24,806,994字节。
• 数据集大小: 125,135,821字节。

配置

• 默认配置 (default): 包含训练数据文件，路径为data/train-*。

数据集列表

• NickyNicky/aya_dataset_multilingual_inputs_targets_ext1
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext2
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext3
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext4
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext5
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext6
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext8
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext9
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext10

支持语言

• 西班牙语 (es)
• 法语 (fr)
• 英语 (en)
• 德语 (de)