DocHPLT

DocHPLT是一个大规模多语言文档级翻译数据集，包含50种语言与英语配对的1.24亿对齐文档对，总计42.6亿句子，并额外提供2500个不涉及英语的语对。该数据集通过改进现有网络提取流程，完整保留原始文档结构，包括未对齐部分，而非从句子级数据拼接文档。数据规模涵盖从阿非利卡语（约100万句子）到英语（约26.6亿句子）的广泛范围，每个语对均提供训练集。标注信息包括文档ID、语言对、源文档和目标文档的句子序列，以及基于对齐器、Bicleaner和Bifixer的评分。采集方式为从网络爬取并经过清洗和过滤，确保文档完整性。适用任务包括文档级机器翻译、长上下文建模和多语言翻译模型训练。授权许可为CC0-1.0，允许自由使用。