Nicolas-BZRD/English_French_Webpages_Scraped_Translated

这是一个用于训练翻译模型的法英平行文本数据集，包含超过1710万对句子。数据集由Chris Callison-Burch创建，他通过爬取数百万个网页并使用一组简单的启发式方法将法语URL转换为英语URL，假设这些文档是彼此的翻译。该数据集是2015年统计机器翻译研讨会（WML）的主要数据集，可用于机器翻译和语言模型。数据集经过后处理，去除了所有重复项、空字段和少于5个单词的短语。

原始信息汇总

英法网页翻译数据集

数据集概述

该数据集包含用于训练翻译模型的法语和英语平行文本，共有超过1710万句法语和英语句子。数据集由Chris Callison-Burch创建，他爬取了数百万个网页，并使用一系列简单的启发式方法将法语URL转换为英语URL，并假设这些文档互为翻译。这是2015年统计机器翻译研讨会（WMT）的主要数据集，可用于机器翻译和语言模型。

数据集特征

• 语言: 英语和法语
• 许可证: ODbL
• 大小类别: 10M<n<100M
• 任务类别: 翻译
• 标签: 网页, 平行, 平行数据

配置

• 配置名称: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据集信息

• 特征:
  • 名称: en
    • 数据类型: string
  • 名称: fr
    • 数据类型: string
• 分割:
  • 名称: train
    • 字节数: 6811772380
    • 样本数: 17161263
• 下载大小: 640497280
• 数据集大小: 6811772380

后处理

该数据集经过后处理，移除了所有重复项、空字段以及包含少于5个单词的短语。