facebook-llama/flores
收藏资源简介：
Flores数据集是一个用于低资源机器翻译任务的评估数据集，特别针对尼泊尔语-英语和僧伽罗语-英语的翻译。数据集包含验证集和测试集，数据字段为翻译文本，支持的语言包括尼泊尔语、僧伽罗语和英语。数据集的来源包括维基百科、OPUS GNOME、OPUS Ubuntu、Open Subtitles、ParaCrawl、Bible Para、KDE4、Global Voices和Common Crawl等多个扩展数据集。数据集的大小在1K到10K之间，许可证为CC-BY-4.0。
Flores数据集是一个用于低资源机器翻译任务的评估数据集，特别针对尼泊尔语-英语和僧伽罗语-英语的翻译。数据集包含验证集和测试集，数据字段为翻译文本，支持的语言包括尼泊尔语、僧伽罗语和英语。数据集的来源包括维基百科、OPUS GNOME、OPUS Ubuntu、Open Subtitles、ParaCrawl、Bible Para、KDE4、Global Voices和Common Crawl等多个扩展数据集。数据集的大小在1K到10K之间，许可证为CC-BY-4.0。
数据集概述
基本信息
- 数据集名称: Flores
- 语言:
- 英语 (en)
- 尼泊尔语 (ne)
- 僧伽罗语 (si)
- 许可证: CC-BY-4.0
- 多语言性: 翻译
- 数据集大小分类: 1K<n<10K
数据来源
- 扩展来源:
- Wikipedia
- OPUS GNOME
- OPUS Ubuntu
- Open Subtitles
- ParaCrawl
- Bible Para
- KDE4
- Other Global Voices
- Other Common Crawl
任务类别
- 翻译
数据集配置
-
配置名称: neen
- 特征:
- translation: 包含尼泊尔语 (ne) 和英语 (en) 的多语言字符串
- 数据分割:
- 验证集: 2560 个样本, 849380 字节
- 测试集: 2836 个样本, 999063 字节
- 下载大小: 1542781 字节
- 数据集大小: 1848443 字节
- 特征:
-
配置名称: sien
- 特征:
- translation: 包含僧伽罗语 (si) 和英语 (en) 的多语言字符串
- 数据分割:
- 验证集: 2899 个样本, 1031158 字节
- 测试集: 2767 个样本, 983563 字节
- 下载大小: 1542781 字节
- 数据集大小: 2014721 字节
- 特征:
数据集创建
- 数据集概述: 用于低资源机器翻译的评估数据集，包括尼泊尔语-英语和僧伽罗语-英语。
引用信息
@misc{guzmn2019new, title={Two New Evaluation Datasets for Low-Resource Machine Translation: Nepali-English and Sinhala-English}, author={Francisco Guzman and Peng-Jen Chen and Myle Ott and Juan Pino and Guillaume Lample and Philipp Koehn and Vishrav Chaudhary and MarcAurelio Ranzato}, year={2019}, eprint={1902.01382}, archivePrefix={arXiv}, primaryClass={cs.CL} }
