thonyyy/tatoeba-nusax-mt-p1-stream

---
dataset_info:
features:
- name: source_lang
dtype: string
- name: target_lang
dtype: string
- name: source_text
dtype: string
- name: target_text
dtype: string
- name: data_split
dtype: string
- name: data_source
dtype: string
splits:
- name: train
num_bytes: 42764837609.76546
num_examples: 193390351
- name: validation
num_bytes: 431968081.23454416
num_examples: 1953438
download_size: 23665956443
dataset_size: 43196805691.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
---

This dataset is primarily used for machine translation tasks, containing text data in source and target languages. The dataset is divided into a training set and a validation set, with the training set containing 193,390,351 examples and the validation set containing 1,953,438 examples. The download size of the dataset is 23,665,956,443 bytes, and the total size is 43,196,805,691 bytes.

原始信息汇总

数据集概述

数据集特征

• source_lang：源语言，数据类型为字符串。
• target_lang：目标语言，数据类型为字符串。
• source_text：源文本，数据类型为字符串。
• target_text：目标文本，数据类型为字符串。
• data_split：数据分割标识，数据类型为字符串。
• data_source：数据来源，数据类型为字符串。

数据分割

• 训练集（train）：
  • 数据量：193390351个样本
  • 数据大小：42764837609.76546字节
• 验证集（validation）：
  • 数据量：1953438个样本
  • 数据大小：431968081.23454416字节

数据集大小

• 下载大小：23665956443字节
• 数据集总大小：43196805691.0字节

配置文件

• 默认配置（default）：
  • 训练集路径：data/train-*
  • 验证集路径：data/validation-*