haryoaw/stif-indonesia

STIF-Indonesia数据集是一个用于将印度尼西亚非正式语言转换为正式语言的风格迁移数据集。该数据集作为一个低资源的机器翻译问题，专注于客户服务领域的风格迁移。数据集包含非正式和正式语言的平行语料库，并提供了基于短语的统计机器翻译模型，该模型在实验中表现最佳。由于数据资源极为有限且领域特定，系统可能对领域外输入不够鲁棒。未来的工作将探索更鲁棒的风格迁移方法。

The STIF-Indonesia dataset is a research dataset for transforming Indonesian from informal to formal language, particularly focusing on the machine translation problem in low-resource environments. The dataset includes an Indonesian informal-formal parallel corpus, primarily used for style transfer in the customer service domain. The dataset provides a Phrase-Based Statistical Machine Translation method, which is the best-performing strategy in the experiments. The dataset features include both informal and formal texts, with data types as strings. The dataset is divided into train, dev, and test splits, containing 1922, 214, and 363 examples respectively. The datasets download size is 276834 bytes, with a total size of 447926 bytes.

原始信息汇总

数据集概述

数据集名称

STIF-Indonesia

数据集描述

该数据集用于将印尼语从非正式形式转换为正式形式，属于低资源机器翻译问题。数据集包含印尼语非正式与正式语言的平行语料库。

数据集配置

• 默认配置：
  • 训练集：路径为 train.csv，字节数为 344179，样本数为 1922。
  • 验证集：路径为 dev.csv，字节数为 37065，样本数为 214。
  • 测试集：路径为 test.csv，字节数为 66682，样本数为 363。

数据集特征

• 非正式：数据类型为字符串。
• 正式：数据类型为字符串。

数据集大小

• 下载大小：276834 字节
• 数据集大小：447926 字节

许可

MIT 许可证

任务类别

• 翻译
• 文本到文本生成

语言

印尼语

数据集规模

1K < n < 10K