ECLEKTIC

ECLEKTIC是一个多语言封闭书籍问答（CBQA）数据集，用于评估多语言大型语言模型（LLM）的跨语言知识转移能力。该数据集通过控制12种语言中 Wikipedia 文章的存在与缺失，生成知识寻求问题，并将这些问题翻译成其他11种语言。数据集的构建过程中，人类标注者验证了问题、答案和上下文的生成和翻译。ECLEKTIC旨在解决多语言模型在不同语言间共享和转移知识的问题。

ECLEKTIC is a multilingual closed-book question answering (CBQA) dataset designed to evaluate the cross-lingual knowledge transfer capabilities of multilingual large language models (LLMs). It generates knowledge-seeking questions by controlling the presence or absence of Wikipedia articles across 12 languages, and translates these questions into the remaining 11 languages. During the dataset construction process, human annotators verified the generation and translation of questions, answers, and contexts. ECLEKTIC aims to address the issue of knowledge sharing and transfer between different languages for multilingual models.

搜集汇总

数据集介绍

构建方式

ECLEKTIC 数据集的构建方式独具匠心，旨在评估多语言大型语言模型（LLMs）的跨语言知识转移能力。研究者从 12 种语言的维基百科中筛选出仅有单一语言存在且无其他语言对应条目的文章，基于这些文章生成知识型问题，并翻译成其他 11 种语言。这些翻译后的问题在目标语言中缺乏相关维基百科条目，从而确保了知识的跨语言转移。为了保证问题的准确性和翻译的质量，整个生成和翻译过程均由人工标注者进行验证。最终，ECLEKTIC 数据集包含了一组问题及其答案，这些问题仅在一个语言中广为人知，但在所有 12 种语言中都存在。

特点

ECLEKTIC 数据集具有以下特点：首先，它提供了一个简单且封闭式的评估方式，可以有效地评估 LLMs 的跨语言知识转移能力。其次，数据集覆盖了多种语言，包括英语、法语、德语、希伯来语、印地语、印尼语、意大利语、日语、韩语、普通话、葡萄牙语和西班牙语，这有助于全面评估多语言模型的性能。此外，数据集的问题和答案均经过人工验证，确保了数据的准确性和可靠性。最后，ECLEKTIC 数据集的构建方式保证了知识的跨语言转移，这对于评估 LLMs 的知识共享能力至关重要。

使用方法

ECLEKTIC 数据集的使用方法如下：首先，从数据集中选择问题，并将其翻译成目标语言。然后，使用 LLMs 模型回答这些问题，并将模型的预测结果与人工标注的答案进行比较。为了评估模型的知识转移能力，研究者定义了两个指标：整体成功率和知识转移率。整体成功率衡量模型在所有语言中正确回答问题的程度，而知识转移率则专门衡量模型在源语言中正确回答的问题在目标语言中的正确率。通过比较不同模型在这两个指标上的表现，可以评估它们在跨语言知识转移方面的能力。

背景与挑战

背景概述

ECLEKTIC数据集是一个多语言闭卷问答（CBQA）数据集，旨在评估跨语言知识转移的能力。该数据集由Google Research和Google DeepMind的研究人员于2025年创建，核心研究问题是衡量多语言大型语言模型（LLMs）在不同语言间共享和转移知识的能力。ECLEKTIC数据集通过控制12种语言中维基百科文章的存在与否来检测不同语言间信息的不均匀覆盖。研究者们在源语言中生成了知识寻求问题，这些问题在相关维基百科文章中有答案，并将这些问题翻译成其他11种缺乏相应文章的语言。ECLEKTIC数据集的创建为评估LLMs的跨语言知识转移能力提供了一个可靠的方法，这对于开发更加一致和包容的多语言模型具有重要意义。

当前挑战

ECLEKTIC数据集面临的挑战包括：1)解决领域问题：该数据集旨在评估LLMs在不同语言间共享和转移知识的能力，这要求模型能够在训练数据中缺乏相应信息的情况下，从一种语言中检索事实性知识并应用于另一种语言。2)构建过程中的挑战：构建ECLEKTIC数据集需要控制不同语言中信息的覆盖范围，并生成能够指示真实知识转移的问题。这要求研究者们仔细选择维基百科文章，并确保问题与答案在翻译后仍然准确。此外，由于不同语言间的知识分布存在差异，因此需要解决翻译和知识迁移中的文化差异和语言特异性问题。

常用场景

经典使用场景

ECLEKTIC数据集主要用于评估多语言大型语言模型（LLMs）的跨语言知识迁移能力。该数据集包含12种语言的封闭式问答（CBQA）任务，旨在评估模型是否能够将一种语言中获取的知识迁移到另一种语言中。通过控制12种语言中维基百科文章的存在与否，ECLEKTIC能够检测到模型在不同语言中信息覆盖的不均匀性。该数据集在源语言中生成了寻求知识的问题，并将这些问题翻译到其他11种语言中，而这些语言中缺乏相应的维基百科文章。通过这种方式，模型需要在语言之间迁移知识才能解决ECLEKTIC的CBQA任务。

衍生相关工作

ECLEKTIC数据集的发布推动了跨语言知识迁移评估领域的研究。基于ECLEKTIC数据集，研究人员提出了许多新的评估方法和模型改进策略。例如，有研究者提出了基于知识编辑的方法来评估模型的知识迁移能力，也有研究者提出了基于神经元激活观察的方法来理解模型内部迁移的发生程度。此外，ECLEKTIC数据集也为其他相关领域的研究提供了新的思路和启示，例如跨语言一致性评估、多语言模型的可解释性等。

数据集最近研究

最新研究方向

在多语言大型语言模型（LLMs）的跨语言知识转移能力评估方面，ECLEKTIC数据集提供了一个新颖的基准。该数据集通过控制Wikipedia文章在不同语言中的存在与否来检测信息的不均衡覆盖，并生成源语言中的知识寻求问题，这些问题在相关Wikipedia文章中有答案，并将其翻译成其他11种语言。ECLEKTIC旨在评估LLMs在简单、黑盒方式下的跨语言知识转移能力。研究表明，即使是SOTA模型在跨语言知识转移方面也面临着挑战。此外，ECLEKTIC数据集揭示了共享脚本在知识转移中的重要性，并表明更大的模型并不一定能够更有效地转移知识。这些发现为构建更强大和一致的跨语言模型提供了新的研究方向。

相关研究论文

• ECLeKTic: a Novel Challenge Set for Evaluation of Cross-Lingual Knowledge Transfer

  Google Research, Google DeepMind · 2025年