LAReQA

LAReQA 是一个具有挑战性的基准测试，测试从多语言候选池中检索与语言无关的答案。与以前的跨语言任务不同，LAReQA 测试“强”跨语言对齐，要求语义相关的跨语言对在表示空间中比不相关的同语言对更接近。作为 LAReQA 基准测试的一部分，我们通过采用现有的跨语言抽取式 QA 任务 XQuAD 并将其转换为检索任务：XQuAD-R，构建了一个具有多语言池的 QA 检索任务。我们在此存储库中发布带有断句的 XQuAD，以用作 XQuAD-R。LAReQA is a challenging benchmark that evaluates retrieval of language-agnostic answers from a multilingual candidate pool. Unlike previous cross-lingual tasks, LAReQA tests "strong" cross-lingual alignment, which requires that semantically related cross-lingual pairs are closer in the representation space than unrelated monolingual pairs. As part of the LAReQA benchmark, we constructed a QA retrieval task with a multilingual pool by adapting the existing cross-lingual extractive QA task XQuAD and converting it into a retrieval variant named XQuAD-R. We release the sentence-segmented XQuAD in this repository for use as XQuAD-R.

搜集汇总

背景与挑战

背景概述

LAReQA是一个用于评估多语言答案检索的基准测试，它通过要求跨语言语义对齐来挑战模型能力，即相关跨语言对在表示空间中的距离需小于不相关的同语言对。该数据集基于XQuAD任务构建为XQuAD-R检索任务，并提供断句版本，由Google Research于2020年发布，采用CC BY-SA 4.0许可证。