Opusparcus

Opusparcus 是六种欧洲语言的释义语料库：德语、英语、芬兰语、法语、俄语和瑞典语。释义是从 OpenSubtitles2016 语料库中提取的，其中包含电影和电视节目的字幕。对于每种目标语言，Opusparcus 数据都被划分为三种类型的数据集：训练集、开发集和测试集。训练集很大，由数百万个句子对组成，并且是在概率排序函数的帮助下自动编译的。开发和测试集由人工注释的句子对组成；每组包含大约 1000 个句子对，已被两个注释者验证为可接受的释义。

搜集汇总

背景与挑战

背景概述

Opusparcus是一个基于OpenSubtitles2016字幕数据构建的多语言释义语料库，涵盖德语、英语、芬兰语、法语、俄语和瑞典语六种欧洲语言。该数据集包含大规模自动编译的训练集以及由人工标注的小规模开发集和测试集，旨在支持自然语言处理任务如机器翻译和自然语言理解。