loicmagne/tatoeba-bitext-mining

---
language:
- eng
- sqi
- fry
- kur
- tur
- deu
- nld
- ron
- ang
- ido
- jav
- isl
- slv
- cym
- kaz
- est
- heb
- gla
- mar
- lat
- bel
- pms
- gle
- pes
- nob
- bul
- cbk
- hun
- uig
- rus
- spa
- hye
- tel
- afr
- mon
- arz
- hrv
- nov
- gsw
- nds
- ukr
- uzb
- lit
- ina
- lfn
- zsm
- ita
- cmn
- lvs
- glg
- ceb
- bre
- ben
- swg
- arq
- kab
- fra
- por
- tat
- oci
- pol
- war
- aze
- vie
- nno
- cha
- mhr
- dan
- ell
- amh
- pam
- hsb
- srp
- epo
- kzj
- awa
- fao
- mal
- ile
- bos
- cor
- cat
- eus
- yue
- swe
- dtp
- kat
- jpn
- csb
- xho
- orv
- ind
- tuk
- max
- swh
- hin
- dsb
- ber
- tam
- slk
- tgl
- ast
- mkd
- khm
- ces
- tzl
- urd
- ara
- kor
- yid
- fin
- tha
- wuu

configs:
- config_name: default
data_files:
- split: test
path: "test/*"
- config_name: sqi-eng
data_files:
- split: test
path: "test/sqi-eng.jsonl.gz"
- config_name: fry-eng
data_files:
- split: test
path: "test/fry-eng.jsonl.gz"
- config_name: kur-eng
data_files:
- split: test
path: "test/kur-eng.jsonl.gz"
- config_name: tur-eng
data_files:
- split: test
path: "test/tur-eng.jsonl.gz"
- config_name: deu-eng
data_files:
- split: test
path: "test/deu-eng.jsonl.gz"
- config_name: nld-eng
data_files:
- split: test
path: "test/nld-eng.jsonl.gz"
- config_name: ron-eng
data_files:
- split: test
path: "test/ron-eng.jsonl.gz"
- config_name: ang-eng
data_files:
- split: test
path: "test/ang-eng.jsonl.gz"
- config_name: ido-eng
data_files:
- split: test
path: "test/ido-eng.jsonl.gz"
- config_name: jav-eng
data_files:
- split: test
path: "test/jav-eng.jsonl.gz"
- config_name: isl-eng
data_files:
- split: test
path: "test/isl-eng.jsonl.gz"
- config_name: slv-eng
data_files:
- split: test
path: "test/slv-eng.jsonl.gz"
- config_name: cym-eng
data_files:
- split: test
path: "test/cym-eng.jsonl.gz"
- config_name: kaz-eng
data_files:
- split: test
path: "test/kaz-eng.jsonl.gz"
- config_name: est-eng
data_files:
- split: test
path: "test/est-eng.jsonl.gz"
- config_name: heb-eng
data_files:
- split: test
path: "test/heb-eng.jsonl.gz"
- config_name: gla-eng
data_files:
- split: test
path: "test/gla-eng.jsonl.gz"
- config_name: mar-eng
data_files:
- split: test
path: "test/mar-eng.jsonl.gz"
- config_name: lat-eng
data_files:
- split: test
path: "test/lat-eng.jsonl.gz"
- config_name: bel-eng
data_files:
- split: test
path: "test/bel-eng.jsonl.gz"
- config_name: pms-eng
data_files:
- split: test
path: "test/pms-eng.jsonl.gz"
- config_name: gle-eng
data_files:
- split: test
path: "test/gle-eng.jsonl.gz"
- config_name: pes-eng
data_files:
- split: test
path: "test/pes-eng.jsonl.gz"
- config_name: nob-eng
data_files:
- split: test
path: "test/nob-eng.jsonl.gz"
- config_name: bul-eng
data_files:
- split: test
path: "test/bul-eng.jsonl.gz"
- config_name: cbk-eng
data_files:
- split: test
path: "test/cbk-eng.jsonl.gz"
- config_name: hun-eng
data_files:
- split: test
path: "test/hun-eng.jsonl.gz"
- config_name: uig-eng
data_files:
- split: test
path: "test/uig-eng.jsonl.gz"
- config_name: rus-eng
data_files:
- split: test
path: "test/rus-eng.jsonl.gz"
- config_name: spa-eng
data_files:
- split: test
path: "test/spa-eng.jsonl.gz"
- config_name: hye-eng
data_files:
- split: test
path: "test/hye-eng.jsonl.gz"
- config_name: tel-eng
data_files:
- split: test
path: "test/tel-eng.jsonl.gz"
- config_name: afr-eng
data_files:
- split: test
path: "test/afr-eng.jsonl.gz"
- config_name: mon-eng
data_files:
- split: test
path: "test/mon-eng.jsonl.gz"
- config_name: arz-eng
data_files:
- split: test
path: "test/arz-eng.jsonl.gz"
- config_name: hrv-eng
data_files:
- split: test
path: "test/hrv-eng.jsonl.gz"
- config_name: nov-eng
data_files:
- split: test
path: "test/nov-eng.jsonl.gz"
- config_name: gsw-eng
data_files:
- split: test
path: "test/gsw-eng.jsonl.gz"
- config_name: nds-eng
data_files:
- split: test
path: "test/nds-eng.jsonl.gz"
- config_name: ukr-eng
data_files:
- split: test
path: "test/ukr-eng.jsonl.gz"
- config_name: uzb-eng
data_files:
- split: test
path: "test/uzb-eng.jsonl.gz"
- config_name: lit-eng
data_files:
- split: test
path: "test/lit-eng.jsonl.gz"
- config_name: ina-eng
data_files:
- split: test
path: "test/ina-eng.jsonl.gz"
- config_name: lfn-eng
data_files:
- split: test
path: "test/lfn-eng.jsonl.gz"
- config_name: zsm-eng
data_files:
- split: test
path: "test/zsm-eng.jsonl.gz"
- config_name: ita-eng
data_files:
- split: test
path: "test/ita-eng.jsonl.gz"
- config_name: cmn-eng
data_files:
- split: test
path: "test/cmn-eng.jsonl.gz"
- config_name: lvs-eng
data_files:
- split: test
path: "test/lvs-eng.jsonl.gz"
- config_name: glg-eng
data_files:
- split: test
path: "test/glg-eng.jsonl.gz"
- config_name: ceb-eng
data_files:
- split: test
path: "test/ceb-eng.jsonl.gz"
- config_name: bre-eng
data_files:
- split: test
path: "test/bre-eng.jsonl.gz"
- config_name: ben-eng
data_files:
- split: test
path: "test/ben-eng.jsonl.gz"
- config_name: swg-eng
data_files:
- split: test
path: "test/swg-eng.jsonl.gz"
- config_name: arq-eng
data_files:
- split: test
path: "test/arq-eng.jsonl.gz"
- config_name: kab-eng
data_files:
- split: test
path: "test/kab-eng.jsonl.gz"
- config_name: fra-eng
data_files:
- split: test
path: "test/fra-eng.jsonl.gz"
- config_name: por-eng
data_files:
- split: test
path: "test/por-eng.jsonl.gz"
- config_name: tat-eng
data_files:
- split: test
path: "test/tat-eng.jsonl.gz"
- config_name: oci-eng
data_files:
- split: test
path: "test/oci-eng.jsonl.gz"
- config_name: pol-eng
data_files:
- split: test
path: "test/pol-eng.jsonl.gz"
- config_name: war-eng
data_files:
- split: test
path: "test/war-eng.jsonl.gz"
- config_name: aze-eng
data_files:
- split: test
path: "test/aze-eng.jsonl.gz"
- config_name: vie-eng
data_files:
- split: test
path: "test/vie-eng.jsonl.gz"
- config_name: nno-eng
data_files:
- split: test
path: "test/nno-eng.jsonl.gz"
- config_name: cha-eng
data_files:
- split: test
path: "test/cha-eng.jsonl.gz"
- config_name: mhr-eng
data_files:
- split: test
path: "test/mhr-eng.jsonl.gz"
- config_name: dan-eng
data_files:
- split: test
path: "test/dan-eng.jsonl.gz"
- config_name: ell-eng
data_files:
- split: test
path: "test/ell-eng.jsonl.gz"
- config_name: amh-eng
data_files:
- split: test
path: "test/amh-eng.jsonl.gz"
- config_name: pam-eng
data_files:
- split: test
path: "test/pam-eng.jsonl.gz"
- config_name: hsb-eng
data_files:
- split: test
path: "test/hsb-eng.jsonl.gz"
- config_name: srp-eng
data_files:
- split: test
path: "test/srp-eng.jsonl.gz"
- config_name: epo-eng
data_files:
- split: test
path: "test/epo-eng.jsonl.gz"
- config_name: kzj-eng
data_files:
- split: test
path: "test/kzj-eng.jsonl.gz"
- config_name: awa-eng
data_files:
- split: test
path: "test/awa-eng.jsonl.gz"
- config_name: fao-eng
data_files:
- split: test
path: "test/fao-eng.jsonl.gz"
- config_name: mal-eng
data_files:
- split: test
path: "test/mal-eng.jsonl.gz"
- config_name: ile-eng
data_files:
- split: test
path: "test/ile-eng.jsonl.gz"
- config_name: bos-eng
data_files:
- split: test
path: "test/bos-eng.jsonl.gz"
- config_name: cor-eng
data_files:
- split: test
path: "test/cor-eng.jsonl.gz"
- config_name: cat-eng
data_files:
- split: test
path: "test/cat-eng.jsonl.gz"
- config_name: eus-eng
data_files:
- split: test
path: "test/eus-eng.jsonl.gz"
- config_name: yue-eng
data_files:
- split: test
path: "test/yue-eng.jsonl.gz"
- config_name: swe-eng
data_files:
- split: test
path: "test/swe-eng.jsonl.gz"
- config_name: dtp-eng
data_files:
- split: test
path: "test/dtp-eng.jsonl.gz"
- config_name: kat-eng
data_files:
- split: test
path: "test/kat-eng.jsonl.gz"
- config_name: jpn-eng
data_files:
- split: test
path: "test/jpn-eng.jsonl.gz"
- config_name: csb-eng
data_files:
- split: test
path: "test/csb-eng.jsonl.gz"
- config_name: xho-eng
data_files:
- split: test
path: "test/xho-eng.jsonl.gz"
- config_name: orv-eng
data_files:
- split: test
path: "test/orv-eng.jsonl.gz"
- config_name: ind-eng
data_files:
- split: test
path: "test/ind-eng.jsonl.gz"
- config_name: tuk-eng
data_files:
- split: test
path: "test/tuk-eng.jsonl.gz"
- config_name: max-eng
data_files:
- split: test
path: "test/max-eng.jsonl.gz"
- config_name: swh-eng
data_files:
- split: test
path: "test/swh-eng.jsonl.gz"
- config_name: hin-eng
data_files:
- split: test
path: "test/hin-eng.jsonl.gz"
- config_name: dsb-eng
data_files:
- split: test
path: "test/dsb-eng.jsonl.gz"
- config_name: ber-eng
data_files:
- split: test
path: "test/ber-eng.jsonl.gz"
- config_name: tam-eng
data_files:
- split: test
path: "test/tam-eng.jsonl.gz"
- config_name: slk-eng
data_files:
- split: test
path: "test/slk-eng.jsonl.gz"
- config_name: tgl-eng
data_files:
- split: test
path: "test/tgl-eng.jsonl.gz"
- config_name: ast-eng
data_files:
- split: test
path: "test/ast-eng.jsonl.gz"
- config_name: mkd-eng
data_files:
- split: test
path: "test/mkd-eng.jsonl.gz"
- config_name: khm-eng
data_files:
- split: test
path: "test/khm-eng.jsonl.gz"
- config_name: ces-eng
data_files:
- split: test
path: "test/ces-eng.jsonl.gz"
- config_name: tzl-eng
data_files:
- split: test
path: "test/tzl-eng.jsonl.gz"
- config_name: urd-eng
data_files:
- split: test
path: "test/urd-eng.jsonl.gz"
- config_name: ara-eng
data_files:
- split: test
path: "test/ara-eng.jsonl.gz"
- config_name: kor-eng
data_files:
- split: test
path: "test/kor-eng.jsonl.gz"
- config_name: yid-eng
data_files:
- split: test
path: "test/yid-eng.jsonl.gz"
- config_name: fin-eng
data_files:
- split: test
path: "test/fin-eng.jsonl.gz"
- config_name: tha-eng
data_files:
- split: test
path: "test/tha-eng.jsonl.gz"
- config_name: wuu-eng
data_files:
- split: test
path: "test/wuu-eng.jsonl.gz"
---

原始信息汇总

数据集概述

语言支持

数据集支持多种语言，包括但不限于：

• 英语（eng）
• 阿尔巴尼亚语（sqi）
• 弗里斯兰语（fry）
• 库尔德语（kur）
• 土耳其语（tur）
• 德语（deu）
• 荷兰语（nld）
• 罗马尼亚语（ron）
• 古英语（ang）
• 世界语（ido）
• 爪哇语（jav）
• 冰岛语（isl）
• 斯洛文尼亚语（slv）
• 威尔士语（cym）
• 哈萨克语（kaz）
• 爱沙尼亚语（est）
• 希伯来语（heb）
• 苏格兰盖尔语（gla）
• 马拉地语（mar）
• 拉丁语（lat）
• 白俄罗斯语（bel）
• 皮埃蒙特语（pms）
• 爱尔兰语（gle）
• 波斯语（pes）
• 挪威语（nob）
• 保加利亚语（bul）
• 查莫罗语（cbk）
• 匈牙利语（hun）
• 维吾尔语（uig）
• 俄语（rus）
• 西班牙语（spa）
• 亚美尼亚语（hye）
• 泰卢固语（tel）
• 阿非利卡语（afr）
• 蒙古语（mon）
• 埃及阿拉伯语（arz）
• 克罗地亚语（hrv）
• 新挪威语（nov）
• 瑞士德语（gsw）
• 低地德语（nds）
• 乌克兰语（ukr）
• 乌兹别克语（uzb）
• 立陶宛语（lit）
• 印度尼西亚语（ina）
• 洛林语（lfn）
• 桑戈语（zsm）
• 意大利语（ita）
• 官话（cmn）
• 拉脱维亚语（lvs）
• 加利西亚语（glg）
• 宿务语（ceb）
• 布列塔尼语（bre）
• 孟加拉语（ben）
• 西弗里斯兰语（swg）
• 阿拉伯埃及方言（arq）
• 卡拜尔语（kab）
• 法语（fra）
• 葡萄牙语（por）
• 塔塔尔语（tat）
• 奥克西唐语（oci）
• 波兰语（pol）
• 瓦瑞语（war）
• 阿塞拜疆语（aze）
• 越南语（vie）
• 新挪威语（nno）
• 查瓦卡诺语（cha）
• 马里语（mhr）
• 丹麦语（dan）
• 希腊语（ell）
• 阿姆哈拉语（amh）
• 邦板牙语（pam）
• 上索布语（hsb）
• 塞尔维亚语（srp）
• 世界语（epo）
• 哈萨克语（kzj）
• 阿瓦德语（awa）
• 奥克语（fao）
• 马拉雅拉姆语（mal）
• 国际语（ile）
• 波斯尼亚语（bos）
• 科西嘉语（cor）
• 加泰罗尼亚语（cat）
• 巴斯克语（eus）
• 粤语（yue）
• 瑞典语（swe）
• 多尔普语（dtp）
• 格鲁吉亚语（kat）
• 日语（jpn）
• 卡舒比语（csb）
• 科萨语（xho）
• 中古俄语（orv）
• 印度尼西亚语（ind）
• 图克曼语（tuk）
• 马克斯语（max）
• 西弗里斯兰语（swh）
• 印地语（hin）
• 下索布语（dsb）
• 柏柏尔语（ber）
• 泰米尔语（tam）
• 斯洛伐克语（slk）
• 他加禄语（tgl）
• 阿斯图里亚斯语（ast）
• 马其顿语（mkd）
• 高棉语（khm）
• 捷克语（ces）
• 塔兹语（tzl）
• 乌尔都语（urd）
• 阿拉伯语（ara）
• 韩语（kor）
• 意第绪语（yid）
• 芬兰语（fin）
• 泰语（tha）
• 吴语（wuu）

数据配置

数据集包含多个配置，每个配置对应不同的语言组合，所有配置均包含测试数据。以下是部分配置示例：

• config_name: default
  • split: test
  • path: "test/*"
• config_name: sqi-eng
  • split: test
  • path: "test/sqi-eng.jsonl.gz"
• config_name: fry-eng
  • split: test
  • path: "test/fry-eng.jsonl.gz"
• config_name: kur-eng
  • split: test
  • path: "test/kur-eng.jsonl.gz"
• config_name: tur-eng
  • split: test
  • path: "test/tur-eng.jsonl.gz"
• config_name: deu-eng
  • split: test
  • path: "test/deu-eng.jsonl.gz"
• config_name: nld-eng
  • split: test
  • path: "test/nld-eng.jsonl.gz"
• config_name: ron-eng
  • split: test
  • path: "test/ron-eng.jsonl.gz"
• config_name: ang-eng
  • split: test
  • path: "test/ang-eng.jsonl.gz"
• config_name: ido-eng
  • split: test
  • path: "test/ido-eng.jsonl.gz"
• config_name: jav-eng
  • split: test
  • path: "test/jav-eng.jsonl.gz"
• config_name: isl-eng
  • split: test
  • path: "test/isl-eng.jsonl.gz"
• config_name: slv-eng
  • split: test
  • path: "test/slv-eng.jsonl.gz"
• config_name: cym-eng
  • split: test
  • path: "test/cym-eng.jsonl.gz"
• config_name: kaz-eng
  • split: test
  • path: "test/kaz-eng.jsonl.gz"
• config_name: est-eng
  • split: test
  • path: "test/est-eng.jsonl.gz"
• config_name: heb-eng
  • split: test
  • path: "test/heb-eng.jsonl.gz"
• config_name: gla-eng
  • split: test
  • path: "test/gla-eng.jsonl.gz"
• config_name: mar-eng
  • split: test
  • path: "test/mar-eng.jsonl.gz"
• config_name: lat-eng
  • split: test
  • path: "test/lat-eng.jsonl.gz"
• config_name: bel-eng
  • split: test
  • path: "test/bel-eng.jsonl.gz"
• config_name: pms-eng
  • split: test
  • path: "test/pms-eng.jsonl.gz"
• config_name: gle-eng
  • split: test
  • path: "test/gle-eng.jsonl.gz"
• config_name: pes-eng
  • split: test
  • path: "test/pes-eng.jsonl.gz"
• config_name: nob-eng
  • split: test
  • path: "test/nob-eng.jsonl.gz"
• config_name: bul-eng
  • split: test
  • path: "test/bul-eng.jsonl.gz"
• config_name: cbk-eng
  • split: test
  • path: "test/cbk-eng.jsonl.gz"
• config_name: hun-eng
  • split: test
  • path: "test/hun-eng.jsonl.gz"
• config_name: uig-eng
  • split: test
  • path: "test/uig-eng.jsonl.gz"
• config_name: rus-eng
  • split: test
  • path: "test/rus-eng.jsonl.gz"
• config_name: spa-eng
  • split: test
  • path: "test/spa-eng.jsonl.gz"
• config_name: hye-eng
  • split: test
  • path: "test/hye-eng.jsonl.gz"
• config_name: tel-eng
  • split: test
  • path: "test/tel-eng.jsonl.gz"
• config_name: afr-eng
  • split: test
  • path: "test/afr-eng.jsonl.gz"
• config_name: mon-eng
  • split: test
  • path: "test/mon-eng.jsonl.gz"
• config_name: arz-eng
  • split: test
  • path: "test/arz-eng.jsonl.gz"
• config_name: hrv-eng
  • split: test
  • path: "test/hrv-eng.jsonl.gz"
• config_name: nov-eng
  • split: test
  • path: "test/nov-eng.jsonl.gz"
• config_name: gsw-eng
  • split: test
  • path: "test/gsw-eng.jsonl.gz"
• config_name: nds-eng
  • split: test
  • path: "test/nds-eng.jsonl.gz"
• config_name: ukr-eng
  • split: test
  • path: "test/ukr-eng.jsonl.gz"
• config_name: uzb-eng
  • split: test
  • path: "test/uzb-eng.jsonl.gz"
• config_name: lit-eng
  • split: test
  • path: "test/lit-eng.jsonl.gz"
• config_name: ina-eng
  • split: test
  • path: "test/ina-eng.jsonl.gz"
• config_name: lfn-eng
  • split: test
  • path: "test/lfn-eng.jsonl.gz"
• config_name: zsm-eng
  • split: test
  • path: "test/zsm-eng.jsonl.gz"
• config_name: ita-eng
  • split: test
  • path: "test/ita-eng.jsonl.gz"
• config_name: cmn-eng
  • split: test
  • path: "test/cmn-eng.jsonl.gz"
• config_name: lvs-eng
  • split: test
  • path: "test/lvs-eng.jsonl.gz"
• config_name: glg-eng
  • split: test
  • path: "test/glg-eng.jsonl.gz"
• config_name: ceb-eng
  • split: test
  • path: "test/ceb-eng.jsonl.gz"
• config_name: bre-eng
  • split: test
  • path: "test/bre-eng.jsonl.gz"
• config_name: ben-eng
  • split: test
  • path: "test/ben-eng.jsonl.gz"
• config_name: swg-eng
  • split: test
  • path: "test/swg-eng.jsonl.gz"
• config_name: arq-eng
  • split: test
  • path: "test/arq-eng.jsonl.gz"
• config_name: kab-eng
  • split: test
  • path: "test/kab-eng.jsonl.gz"
• config_name: fra-eng
  • split: test
  • path: "test/fra-eng.jsonl.gz"
• config_name: por-eng
  • split: test
  • path: "test/por-eng.jsonl.gz"
• config_name: tat-eng
  • split: test
  • path: "test/tat-eng.jsonl.gz"
• config_name: oci-eng
  • split: test
  • path: "test/oci-eng.jsonl.gz"
• config_name: pol-eng
  • split: test
  • path: "test/pol-eng.jsonl.gz"
• config_name: war-eng
  • split: test
  • path: "test/war-eng.jsonl.gz"
• config_name: aze-eng
  • split: test
  • path: "test/aze-eng.jsonl.gz"
• config_name: vie-eng
  • split: test
  • path: "test/vie-eng.jsonl.gz"
• config_name: nno-eng
  • split: test
  • path: "test/nno-eng.jsonl.gz"
• config_name: cha-eng
  • split: test
  • path: "test/cha-eng.jsonl.gz"
• config_name: mhr-eng
  • split: test
  • path: "test/mhr-eng.jsonl.gz"
• config_name: dan-eng
  • split: test
  • path: "test/dan-eng.jsonl.gz"
• config_name: ell-eng
  • split: test
  • path: "test/ell-eng.jsonl.gz"
• config_name: amh-eng
  • split: test
  • path: "test/amh-eng.jsonl.gz"
• config_name: pam-eng
  • split: test
  • path: "test/pam-eng.jsonl.gz"
• config_name: hsb-eng
  • split: test
  • path: "test/hsb-eng.jsonl.gz"
• config_name: srp-eng
  • split: test
  • path: "test/srp-eng.jsonl.gz"
• config_name: epo-eng
  • split: test
  • path: "test/epo-eng.jsonl.gz"
• config_name: kzj-eng
  • split: test
  • path: "test/kzj-eng.jsonl.gz"
• config_name: awa-eng
  • split: test
  • path: "test/awa-eng.jsonl.gz"
• config_name: fao-eng
  • split: test
  • path: "test/fao-eng.jsonl.gz"
• `config_name: mal

搜集汇总

数据集介绍

构建方式

在自然语言处理与机器翻译领域，平行语料库的构建是支撑跨语言信息检索与文本挖掘任务的基础。Tatoeba Bitext Mining 数据集源自多语言例句库 Tatoeba，通过系统化的语言对筛选与对齐策略，将原始语料转化为结构化的双语句对。该数据集仅包含测试集，以 JSONL 格式存储并经 GZIP 压缩，每个文件对应一个特定的语言对，如 sqi-eng、deu-eng 等，从而确保数据的高效组织与便捷访问。

特点

该数据集最显著的特征在于其惊人的语言覆盖广度，囊括超过 120 种语言，包括英语、阿拉伯语、汉语、日语等主流语言，以及弗里斯语、古英语、伊多语等低资源与小众语言。这种多元化的语言配置为评估跨语言文本挖掘模型的泛化能力提供了独特的测试基准。每个语言对均独立构建配置，便于研究者针对特定语言组合进行精细化评估，同时统一的测试集划分保证了结果的可重复性与公平性。

使用方法

使用者可通过 Hugging Face Datasets 库便捷加载该数据集，指定所需的语言对配置名称，例如 'sqi-eng' 或 'deu-eng'，即可获取对应的双语句对。默认配置 'default' 会一次性加载所有语言对的测试数据。每一行 JSONL 记录包含源语言与目标语言的句子对，可直接用于评估双语文本挖掘模型的检索精度与对齐性能。该数据集主要面向模型性能测试，不包含训练或验证划分，适合作为最终评估的标准化基准。

背景与挑战

背景概述

在自然语言处理领域，跨语言文本挖掘（bitext mining）是构建多语言对齐语料库、支撑机器翻译与跨语言信息检索等任务的核心技术。loicmagne/tatoeba-bitext-mining数据集由研究者Loïc Magne基于Tatoeba项目创建，旨在为低资源语言对提供高质量的平行句对测试基准。该数据集覆盖超过100种语言，包括许多濒危或方言化的语言变体，如古英语（ang）、中古英语（enm）及沃洛夫语（wol）等，填补了多语言评估资源的空白。其核心研究问题在于如何在海量非对齐文本中准确挖掘语义等价的句子对，尤其针对资源匮乏的语言组合。自发布以来，该数据集已成为跨语言句子嵌入模型（如LASER、LaBSE）性能评估的重要参考，推动了多语言自然语言理解研究的边界拓展。

当前挑战

该数据集所解决的领域问题在于，跨语言文本挖掘面临语言多样性带来的语义对齐困难，尤其是低资源语言缺乏大规模监督数据，导致模型难以捕捉细粒度的跨语言语义等价关系。构建过程中，挑战首先体现在数据源的稀疏性与噪声控制上：Tatoeba社区贡献的句子对虽经人工审核，但部分语言对仍存在翻译偏差或文化特定表达。其次，语言覆盖的广度（100+种语言）要求统一的数据处理流水线，而不同语言的形态学差异（如黏着语与孤立语）增加了对齐难度。此外，测试集仅提供单句对，缺乏上下文语境，限制了模型在真实多轮对话或篇章级对齐任务中的泛化能力评估。这些挑战共同凸显了在极端低资源场景下构建可靠跨语言基准的艰巨性。

常用场景

经典使用场景

在跨语言自然语言处理领域，Tatoeba Bitext Mining数据集作为平行语料挖掘任务的标杆基准，广泛应用于评估双语文本对齐模型的性能。该数据集汇聚了逾百种语言与英语之间的句子级平行对，覆盖从高资源语言如法语、德语到低资源语言如古英语、西弗里斯兰语的广阔谱系。研究者通常利用其精心构建的测试集，检验基于神经网络的跨语言句子嵌入模型在检索与匹配任务中的鲁棒性，尤其在零样本场景下衡量模型对罕见语对的泛化能力。

解决学术问题

该数据集直击多语言自然语言处理中平行语料匮乏的核心困境，为评估双语文本挖掘算法提供了标准化且覆盖广泛的测试平台。它解决了传统数据集语种覆盖有限、难以衡量模型在低资源语言上表现的学术难题，使得研究者能够系统性地对比不同跨语言表示学习方法在语义对齐上的优劣。其对大量语对的细致划分，推动了从双语词典归纳到句子级语义匹配的学术探索，深化了对跨语言迁移学习边界的理解。

衍生相关工作

基于该数据集，衍生出多项推动跨语言表示学习发展的经典工作。例如，LASER和LaBSE等跨语言句子编码模型均采用该数据集作为核心评测基准，验证其在多语言语义匹配上的有效性。此外，针对低资源语言的平行语料挖掘研究，如基于双语词典诱导的跨语言词嵌入方法，也常借助Tatoeba Bitext Mining来测试其对罕见语言对的泛化性能。这些工作共同促进了多语言自然语言处理技术的迭代与创新。