five

mteb/tatoeba-bitext-mining

收藏
Hugging Face2025-05-04 更新2024-03-04 收录
下载链接：
https://hf-mirror.com/datasets/mteb/tatoeba-bitext-mining
下载链接
链接失效反馈
官方服务：
资源简介：
Tatoeba是一个包含与英语对齐的句子对的多语言数据集。该数据集由人类标注，用于翻译任务。它包括多种语言，是MTEB（大规模文本嵌入基准）项目的一部分。数据集在CC BY 2.0许可下发布。README还提供了如何使用MTEB库在此数据集上评估模型的说明，并提供了数据集和MTEB项目的引用信息。

Tatoeba is a multilingual dataset containing sentence pairs aligned with English. The dataset is human-annotated and designed for translation tasks. It includes a variety of languages and is part of the MTEB (Massive Text Embedding Benchmark) project. The dataset is licensed under CC BY 2.0. The README also includes instructions on how to evaluate models on this dataset using the MTEB library and provides citation information for the dataset and the MTEB project.
提供机构：
mteb
原始信息汇总

数据集概述

语言支持

数据集支持以下语言：

  • eng
  • sqi
  • fry
  • kur
  • tur
  • deu
  • nld
  • ron
  • ang
  • ido
  • jav
  • isl
  • slv
  • cym
  • kaz
  • est
  • heb
  • gla
  • mar
  • lat
  • bel
  • pms
  • gle
  • pes
  • nob
  • bul
  • cbk
  • hun
  • uig
  • rus
  • spa
  • hye
  • tel
  • afr
  • mon
  • arz
  • hrv
  • nov
  • gsw
  • nds
  • ukr
  • uzb
  • lit
  • ina
  • lfn
  • zsm
  • ita
  • cmn
  • lvs
  • glg
  • ceb
  • bre
  • ben
  • swg
  • arq
  • kab
  • fra
  • por
  • tat
  • oci
  • pol
  • war
  • aze
  • vie
  • nno
  • cha
  • mhr
  • dan
  • ell
  • amh
  • pam
  • hsb
  • srp
  • epo
  • kzj
  • awa
  • fao
  • mal
  • ile
  • bos
  • cor
  • cat
  • eus
  • yue
  • swe
  • dtp
  • kat
  • jpn
  • csb
  • xho
  • orv
  • ind
  • tuk
  • max
  • swh
  • hin
  • dsb
  • ber
  • tam
  • slk
  • tgl
  • ast
  • mkd
  • khm
  • ces
  • tzl
  • urd
  • ara
  • kor
  • yid
  • fin
  • tha
  • wuu

配置文件

数据集包含多个配置文件，每个配置文件对应不同的语言对，所有配置文件均包含测试数据。以下是部分配置文件示例：

  • config_name: default

    • data_files:
      • split: test
        • path: "test/*"

  • config_name: sqi-eng

    • data_files:
      • split: test
        • path: "test/sqi-eng.jsonl.gz"

  • config_name: fry-eng

    • data_files:
      • split: test
        • path: "test/fry-eng.jsonl.gz"

  • config_name: kur-eng

    • data_files:
      • split: test
        • path: "test/kur-eng.jsonl.gz"

  • config_name: tur-eng

    • data_files:
      • split: test
        • path: "test/tur-eng.jsonl.gz"

  • config_name: deu-eng

    • data_files:
      • split: test
        • path: "test/deu-eng.jsonl.gz"

  • config_name: nld-eng

    • data_files:
      • split: test
        • path: "test/nld-eng.jsonl.gz"

  • config_name: ron-eng

    • data_files:
      • split: test
        • path: "test/ron-eng.jsonl.gz"

  • config_name: ang-eng

    • data_files:
      • split: test
        • path: "test/ang-eng.jsonl.gz"

  • config_name: ido-eng

    • data_files:
      • split: test
        • path: "test/ido-eng.jsonl.gz"

  • config_name: jav-eng

    • data_files:
      • split: test
        • path: "test/jav-eng.jsonl.gz"

  • config_name: isl-eng

    • data_files:
      • split: test
        • path: "test/isl-eng.jsonl.gz"

  • config_name: slv-eng

    • data_files:
      • split: test
        • path: "test/slv-eng.jsonl.gz"

  • config_name: cym-eng

    • data_files:
      • split: test
        • path: "test/cym-eng.jsonl.gz"

  • config_name: kaz-eng

    • data_files:
      • split: test
        • path: "test/kaz-eng.jsonl.gz"

  • config_name: est-eng

    • data_files:
      • split: test
        • path: "test/est-eng.jsonl.gz"

  • config_name: heb-eng

    • data_files:
      • split: test
        • path: "test/heb-eng.jsonl.gz"

  • config_name: gla-eng

    • data_files:
      • split: test
        • path: "test/gla-eng.jsonl.gz"

  • config_name: mar-eng

    • data_files:
      • split: test
        • path: "test/mar-eng.jsonl.gz"

  • config_name: lat-eng

    • data_files:
      • split: test
        • path: "test/lat-eng.jsonl.gz"

  • config_name: bel-eng

    • data_files:
      • split: test
        • path: "test/bel-eng.jsonl.gz"

  • config_name: pms-eng

    • data_files:
      • split: test
        • path: "test/pms-eng.jsonl.gz"

  • config_name: gle-eng

    • data_files:
      • split: test
        • path: "test/gle-eng.jsonl.gz"

  • config_name: pes-eng

    • data_files:
      • split: test
        • path: "test/pes-eng.jsonl.gz"

  • config_name: nob-eng

    • data_files:
      • split: test
        • path: "test/nob-eng.jsonl.gz"

  • config_name: bul-eng

    • data_files:
      • split: test
        • path: "test/bul-eng.jsonl.gz"

  • config_name: cbk-eng

    • data_files:
      • split: test
        • path: "test/cbk-eng.jsonl.gz"

  • config_name: hun-eng

    • data_files:
      • split: test
        • path: "test/hun-eng.jsonl.gz"

  • config_name: uig-eng

    • data_files:
      • split: test
        • path: "test/uig-eng.jsonl.gz"

  • config_name: rus-eng

    • data_files:
      • split: test
        • path: "test/rus-eng.jsonl.gz"

  • config_name: spa-eng

    • data_files:
      • split: test
        • path: "test/spa-eng.jsonl.gz"

  • config_name: hye-eng

    • data_files:
      • split: test
        • path: "test/hye-eng.jsonl.gz"

  • config_name: tel-eng

    • data_files:
      • split: test
        • path: "test/tel-eng.jsonl.gz"

  • config_name: afr-eng

    • data_files:
      • split: test
        • path: "test/afr-eng.jsonl.gz"

  • config_name: mon-eng

    • data_files:
      • split: test
        • path: "test/mon-eng.jsonl.gz"

  • config_name: arz-eng

    • data_files:
      • split: test
        • path: "test/arz-eng.jsonl.gz"

  • config_name: hrv-eng

    • data_files:
      • split: test
        • path: "test/hrv-eng.jsonl.gz"

  • config_name: nov-eng

    • data_files:
      • split: test
        • path: "test/nov-eng.jsonl.gz"

  • config_name: gsw-eng

    • data_files:
      • split: test
        • path: "test/gsw-eng.jsonl.gz"

  • config_name: nds-eng

    • data_files:
      • split: test
        • path: "test/nds-eng.jsonl.gz"

  • config_name: ukr-eng

    • data_files:
      • split: test
        • path: "test/ukr-eng.jsonl.gz"

  • config_name: uzb-eng

    • data_files:
      • split: test
        • path: "test/uzb-eng.jsonl.gz"

  • config_name: lit-eng

    • data_files:
      • split: test
        • path: "test/lit-eng.jsonl.gz"

  • config_name: ina-eng

    • data_files:
      • split: test
        • path: "test/ina-eng.jsonl.gz"

  • config_name: lfn-eng

    • data_files:
      • split: test
        • path: "test/lfn-eng.jsonl.gz"

  • config_name: zsm-eng

    • data_files:
      • split: test
        • path: "test/zsm-eng.jsonl.gz"

  • config_name: ita-eng

    • data_files:
      • split: test
        • path: "test/ita-eng.jsonl.gz"

  • config_name: cmn-eng

    • data_files:
      • split: test
        • path: "test/cmn-eng.jsonl.gz"

  • config_name: lvs-eng

    • data_files:
      • split: test
        • path: "test/lvs-eng.jsonl.gz"

  • config_name: glg-eng

    • data_files:
      • split: test
        • path: "test/glg-eng.jsonl.gz"

  • config_name: ceb-eng

    • data_files:
      • split: test
        • path: "test/ceb-eng.jsonl.gz"

  • config_name: bre-eng

    • data_files:
      • split: test
        • path: "test/bre-eng.jsonl.gz"

  • config_name: ben-eng

    • data_files:
      • split: test
        • path: "test/ben-eng.jsonl.gz"

  • config_name: swg-eng

    • data_files:
      • split: test
        • path: "test/swg-eng.jsonl.gz"

  • config_name: arq-eng

    • data_files:
      • split: test
        • path: "test/arq-eng.jsonl.gz"

  • config_name: kab-eng

    • data_files:
      • split: test
        • path: "test/kab-eng.jsonl.gz"

  • config_name: fra-eng

    • data_files:
      • split: test
        • path: "test/fra-eng.jsonl.gz"

  • config_name: por-eng

    • data_files:
      • split: test
        • path: "test/por-eng.jsonl.gz"

  • config_name: tat-eng

    • data_files:
      • split: test
        • path: "test/tat-eng.jsonl.gz"

  • config_name: oci-eng

    • data_files:
      • split: test
        • path: "test/oci-eng.jsonl.gz"

  • config_name: pol-eng

    • data_files:
      • split: test
        • path: "test/pol-eng.jsonl.gz"

  • config_name: war-eng

    • data_files:
      • split: test
        • path: "test/war-eng.jsonl.gz"

  • config_name: aze-eng

    • data_files:
      • split: test
        • path: "test/aze-eng.jsonl.gz"

  • config_name: vie-eng

    • data_files:
      • split: test
        • path: "test/vie-eng.jsonl.gz"

  • config_name: nno-eng

    • data_files:
      • split: test
        • path: "test/nno-eng.jsonl.gz"

  • config_name: cha-eng

    • data_files:
      • split: test
        • path: "test/cha-eng.jsonl.gz"

  • config_name: mhr-eng

    • data_files:
      • split: test
        • path: "test/mhr-eng.jsonl.gz"

  • config_name: dan-eng

    • data_files:
      • split: test
        • path: "test/dan-eng.jsonl.gz"

  • config_name: ell-eng

    • data_files:
      • split: test
        • path: "test/ell-eng.jsonl.gz"

  • config_name: amh-eng

    • data_files:
      • split: test
        • path: "test/amh-eng.jsonl.gz"

  • config_name: pam-eng

    • data_files:
      • split: test
        • path: "test/pam-eng.jsonl.gz"

  • config_name: hsb-eng

    • data_files:
      • split: test
        • path: "test/hsb-eng.jsonl.gz"

  • config_name: srp-eng

    • data_files:
      • split: test
        • path: "test/srp-eng.jsonl.gz"

  • config_name: epo-eng

    • data_files:
      • split: test
        • path: "test/epo-eng.jsonl.gz"

  • config_name: kzj-eng

    • data_files:
      • split: test
        • path: "test/kzj-eng.jsonl.gz"

  • config_name: awa-eng

    • data_files:
      • split: test
        • path: "test/awa-eng.jsonl.gz"

  • config_name: fao-eng

    • data_files:
      • split: test
        • path: "test/fao-eng.jsonl.gz"

  • config_name: mal-eng

    • data_files:
      • split: test
        • `path: "
搜集汇总
数据集介绍
main_image_url
构建方式
在机器翻译与跨语言信息检索的研究中，平行语料库的构建质量至关重要。Tatoeba 数据集源自社区驱动的 Tatoeba 项目，由人工精校的句子与翻译对构成。该数据集针对每种语言，从原始语料中筛选出 1,000 个与英语对齐的句子对，并以 JSONL 格式存储，每个语言对作为一个独立配置。数据被组织为单一的测试集，旨在评估模型在双语文本挖掘任务上的表现。其构建过程注重语言多样性，覆盖从主流语言到濒危语言及人工语言的广泛谱系，为跨语言嵌入模型的鲁棒性评估提供了坚实基础。
特点
该数据集最显著的特征在于其极致的多语言覆盖范围，囊括超过 100 种语言，包括阿非利卡语、古英语、世界语等稀有及人工语言。所有样本均经过人工标注，确保了翻译对的高质量与准确性。数据以英语为中心进行对齐，每个语言对均包含恰好 1,000 个句子对，便于进行公平的跨语言比较。此外，数据集采用 CC-BY-2.0 许可协议发布，促进了学术研究与商业应用的广泛复用。其作为 MTEB 基准的一部分，专门用于评估文本嵌入模型的双语挖掘能力。
使用方法
研究人员可通过 MTEB 框架便捷地使用该数据集。加载时，调用 mteb.get_task('Tatoeba') 即可获取任务对象，随后使用 mteb.MTEB 封装任务与模型，通过 evaluator.run(model) 执行评估。数据集支持按语言对加载特定配置，例如 'deu-eng' 或 'jpn-eng'，以聚焦于特定语言方向。评估结果可直接反映模型在多语言对齐任务上的性能。详细的统计信息，如样本数、句子长度分布等，可通过 task.metadata.descriptive_stats 获取，为结果分析提供数据支持。
背景与挑战
背景概述
在自然语言处理领域，跨语言文本嵌入的对齐质量是衡量多语言模型性能的关键指标。Tatoeba双语文本挖掘数据集（Tatoeba Bitext Mining）由Tatoeba社区于2021年创建，作为大规模文本嵌入基准（MTEB）的重要组成部分，旨在评估模型在跨语言句子对检索任务上的表现。该数据集基于Tatoeba语料库，为超过100种语言提供了每种语言与英语对齐的1000个句子对，覆盖了从高资源语言（如德语、法语）到低资源语言（如古英语、西弗里西亚语）的广泛语种，其核心研究问题聚焦于多语言嵌入模型在跨语言语义匹配中的鲁棒性与泛化能力。通过提供标准化的评估框架，该数据集对推动多语言表示学习、机器翻译及跨语言信息检索等领域的发展产生了深远影响。
当前挑战
该数据集所解决的领域问题在于，多语言嵌入模型在处理低资源语言时往往面临严重的性能退化，而传统评估基准多集中于少数高资源语言，难以全面反映模型的跨语言对齐能力。Tatoeba数据集通过覆盖超过100种语言，尤其包含大量低资源与濒危语言，为评估模型在极端语言多样性条件下的表现提供了严苛的测试平台。在构建过程中，主要挑战包括确保跨语言句子对语义等价的高质量标注，以及从众包语料库中筛选出语法正确、语境一致的样本。此外，数据不平衡问题显著——不同语言的句子长度、词汇丰富度差异悬殊，这要求评估方法必须对语言特异性因素保持鲁棒，以避免对特定语种的偏好性偏差。
常用场景
经典使用场景
Tatoeba语料库作为多语言平行句对的标准评测集，在自然语言处理领域中被广泛用于评估文本嵌入模型的跨语言语义对齐能力。该数据集为每一种语言提供了1000条与英语对齐的句子对，覆盖了超过100种语言，涵盖了从广泛使用的语言到濒危语言的丰富多样性。其核心应用场景在于衡量模型能否在不同语言之间准确挖掘出语义等价的句子对，即跨语言文本匹配任务，从而验证模型所习得的跨语言表示空间是否具备良好的对齐性与鲁棒性。
解决学术问题
该数据集有效解决了跨语言文本嵌入模型评估中缺乏大规模、多语言、高质量基准的学术难题。在Tatoeba出现之前，研究者难以公平地比较不同模型在多种语言上的双语文本挖掘性能。Tatoeba通过提供标准化且人工标注的平行句对，使得对模型跨语言语义一致性的量化评估成为可能。它为MTEB（大规模文本嵌入基准）提供了关键的t2t（文本到文本）任务，极大地推动了多语言嵌入模型领域的系统性进步与学术研究透明化。
衍生相关工作
基于Tatoeba数据集，学术界衍生出一系列经典工作，其中最著名的是Facebook AI Research推出的LASER（Language-Agnostic SEntence Representations）项目，该项目利用Tatoeba作为核心评测集来验证其多语言句子嵌入模型的语言无关性。此外，Tatoeba也是MTEB基准测试中不可或缺的一部分，直接催生了众多针对跨语言嵌入模型性能的对比研究。后续工作如Sentence-BERT的多语言版本以及XLM-R等模型，均将Tatoeba作为评估其跨语言迁移能力的重要标准，从而推动了多语言自然语言处理领域的持续创新。
以上内容由遇见数据集搜集并总结生成
关于我们
遇见数据集——让每个数据集都被发现，让每一次遇见都有价值。
数发科官网www.sfktec.com
联系我们
youjian
selectdataset@iotsh.com.cn
商业合作
数据驱动未来，携手共赢发展
二维码
社区交流群
二维码
科研交流群
商业服务