NickyNicky/aya_dataset_multilingual_chatml_gemma_response_json_V2

---
dataset_info:
features:
- name: text
dtype: string
- name: len_tokens
dtype: int64
splits:
- name: train
num_bytes: 125135821
num_examples: 135004
download_size: 24806994
dataset_size: 125135821
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
datasets:
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext1
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext2
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext3
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext4
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext5
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext6
# - NickyNicky/aya_dataset_multilingual_inputs_targets_ext7
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext8
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext9
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext10
language:
- es
- fr
- en
- de
---

#tokenizer: google/gemma-2b-it

```
datasets:
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext1
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext2
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext3
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext4
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext5
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext6
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext8
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext9
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext10
```

```
# FORMAT EXAMPLE
<bos><start_of_turn>system
You are a helpful AI assistant.
solo responde en formato json.
lista de codigos linguisticos disponibles: ["es", "es"].<end_of_turn>
<start_of_turn>user
{
"input": "es",
"targets": "es",
"inputs_text": "¿Qué presidente de los Estados Unidos nunca se ha casado?",
}<end_of_turn>
<start_of_turn>model
{
"targets": "es",
"targets_es": "James Buchanan es el único presidente que nunca se casó."
}<end_of_turn><eos>
```

# hist len_tokens

# describe.

# percentil.

数据集信息：
特征：
- 名称：text，数据类型：字符串
- 名称：len_tokens（Token长度），数据类型：64位整型
划分集：
- 名称：训练集（train），字节数：125135821，样本数：135004
下载大小：24806994，数据集总大小：125135821
配置项：
- 配置名称：默认配置（default），数据文件：
- 划分集：训练集（train），路径：data/train-*
数据集来源：
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext1
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext2
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext3
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext4
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext5
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext6
# - NickyNicky/aya_dataset_multilingual_inputs_targets_ext7
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext8
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext9
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext10
支持语言：
- 西班牙语（es）
- 法语（fr）
- 英语（en）
- 德语（de）

# 分词器：google/gemma-2b-it

datasets:
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext1
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext2
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext3
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext4
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext5
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext6
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext8
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext9
- NickyNicky/aya_dataset_multilingual_inputs_targets_ext10

# 格式示例
<bos><start_of_turn>system
您是一位乐于助人的AI助手。
请仅以JSON格式进行回复。
可用语言代码列表：["es", "es"]。<end_of_turn>
<start_of_turn>user
{
"input": "es",
"targets": "es",
"inputs_text": "美国哪位总统从未结婚？",
}<end_of_turn>
<start_of_turn>model
{
"targets": "es",
"targets_es": "詹姆斯·布坎南是美国唯一一位从未结过婚的总统。"
}<end_of_turn><eos>

# Token长度直方图

# 数据集说明

# 百分位数分布

原始信息汇总

数据集概述

数据集特征

• 文本 (text): 数据类型为字符串。
• 令牌长度 (len_tokens): 数据类型为64位整数。

数据分割

• 训练集 (train): 包含135,004个样本，总大小为125,135,821字节。

数据集大小

• 下载大小: 24,806,994字节。
• 数据集大小: 125,135,821字节。

配置

• 默认配置 (default): 包含训练数据文件，路径为data/train-*。

数据集列表

• NickyNicky/aya_dataset_multilingual_inputs_targets_ext1
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext2
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext3
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext4
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext5
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext6
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext8
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext9
• NickyNicky/aya_dataset_multilingual_inputs_targets_ext10

支持语言

• 西班牙语 (es)
• 法语 (fr)
• 英语 (en)
• 德语 (de)