OpenLLM-France/EIFFEL

EIFFEL（法语习语固定表达式大语言模型评估）是一个法语评估数据集，旨在评估大语言模型在语境中对法语习语表达的理解能力。该数据集包含602个多项选择题形式的样本，用于测试LLM在上下文中完成习语表达的能力。样本由母语者和语言学家手动构建和标注。数据集根据法语习语在英语中是否有（直接）翻译进行分类，分为三个类别：逐字翻译（88个表达）、相似翻译（100个表达）和不同翻译（414个表达）。每个样本包含多个字段，如带上下文的法语句子、法语习语、英语翻译（如可能）、掩码句子、四个答案选项、正确答案、类型、语域和数据来源。数据集旨在研究以英语为中心的培训对LLM在非英语语言（特别是涉及文化特定任务的内容）上的性能影响。EIFFEL (Evaluation of Idiomatic French Fixed Expressions for Large Language Models) is a French evaluation dataset designed to assess large language models’ knowledge of idiomatic expressions in context. EIFFEL comprises 602 samples in multiple choice format designed to test an LLMs capacity to complete an idiomatic expression in context. The samples have been manually constructed and annotated by native speakers and linguists. The dataset is organized based on whether a given French idiomatic expression has a (direct) translation in English, with categories: word-for-word (88 expressions), similar (100 expressions), and different (414 expressions). Each sample includes fields such as French with context, French idiomatic expression, English translation, masked sentences, answer options, correct answer, type, register, and data origin. The dataset contributes to research on the impact of anglocentric training on LLM performance in non-English languages, especially for culturally-specific tasks.

搜集汇总

数据集介绍

构建方式

EIFFEL数据集的构建以评估大语言模型对法语习语的理解为核心目标，由LINAGORA、OpenLLM-France及IRIT联合开发。该数据集包含602个多项选择题样本，由母语者及语言学家手工构建与标注。每个样本选取一个法语习语，对其关键成分进行掩码处理，并提供四个候选项作为答案。为强化习语在语境中的语义解读，每个样本均配有上下文句子，防止模型依据非习语含义做出判断。根据习语在英语中是否存在对应翻译，样本被划分为“逐词对应”、“相似”与“不同”三类，分别包含88、100与414个样本。

使用方法

使用EIFFEL数据集时，可通过HuggingFace的datasets库轻松加载。数据集提供三个子配置：'different'、'similar'及'word by word'，分别对应不同翻译对应类型的习语样本。用户可根据研究需求选择特定配置，例如加载'different'子集进行评测。每个样本以字典形式存储，字段包括带上下文的法语句子、掩码习语、正确答案标识及数据来源等信息。研究者可基于选项字段（answer A至D）与正确答案字段，计算模型的选择准确率，进而评估其对法语习语知识的掌握水平及其潜在的英语中心训练偏差。

背景与挑战

背景概述

在自然语言处理领域，大型语言模型在多语言任务中表现出色，但其训练数据中英语占据主导地位，导致对非英语语言的文化特定任务表现欠佳。为探究英语中心训练对法语习语理解的影响，LINAGORA、OpenLLM-France与IRIT三家机构于2026年共同创建了EIFFEL基准数据集。该数据集由母语者与语言学家手工构建，包含602个法语习语填空样本，依据与英语翻译的对应程度分为逐词、相似与不同三类。研究通过比较不同法语训练比例模型的性能，揭示了英语中心训练对法语文化知识的系统性偏见，为多语言模型的公平性与文化适应性评估提供了重要工具。

当前挑战

EIFFEL数据集所解决的领域问题核心在于评估大语言模型对法语习语的文化敏感性，挑战在于习语翻译的模糊性：许多表达缺乏直接英语对应，导致标注类别划分与干扰项设计困难。构建过程中，团队面临双重挑战：一是数据稀缺性——法语习语需从广泛语料中人工提取并验证，样本量受限；二是标注主观性——习语翻译与类别判定依赖语言学专家知识，不同译法可能导致分类分歧。此外，数据集仅涵盖法国本土习语，其他法语区表达未被纳入，限制了其文化覆盖广度，且标注错误难以完全消除，构成了实验结果的潜在偏差源。

常用场景

经典使用场景

EIFFEL基准数据集专为评估大语言模型在法语习语表达理解上的能力而构建。其经典用法是作为完形填空测试（cloze task），通过遮蔽法语习语中的关键成分，并提供四个候选项，迫使模型基于上下文做出精准选择。数据集按习语与英语对应关系的紧密程度划分为三个子集——逐词对应、相似对应和差异对应，从而系统性地检验模型对法语特有文化表达的掌握程度。这一设计不仅考察模型的词汇语义知识，更深入评估其跨语言文化理解与语境推理能力，是法语自然语言处理领域不可多得的诊断性评测工具。

解决学术问题

该数据集直面当前大语言模型研究中一个极其重要却常被忽视的问题：以英语为中心的训练范式如何影响非英语语言（尤其是法语）的模型表现。学术界长期关注多语言模型的整体性能，但罕有专门探究对特定文化负载表达——如习语——的理解偏差。EIFFEL通过精细的分类标注，首次系统揭示了模型训练数据中的英语主导倾向对法语习语理解的侵蚀效应。其意义在于为多语言模型的公平性评估提供了可量化的文化维度指标，促使研究者在追求模型泛化能力的同时，重新审视语言多样性保护与跨文化表征学习的紧迫性。

实际应用

在实际应用中，EIFFEL可嵌入多语言对话系统、机器翻译引擎及法语教育技术产品中，作为质量监控与偏见检测的关键组件。例如，在部署面向法语用户的智能客服或虚拟助手时，可通过EIFFEL检验模型是否能在真实对话中准确响应包含习语的自然表达。此外，翻译服务供应商可借助该基准评估其系统对法语难译表达的忠实度，避免因直译导致的语义失真。数据集还可指导法语教学软件的研发，帮助学习者识别易混淆的习语变体，从而提升跨文化交际的流畅性与地道性。

数据集最近研究

最新研究方向

EIFFEL数据集的诞生恰逢大型语言模型（LLM）在多语言处理中暴露出的文化偏见问题引发广泛关注之际。该基准专注于评估法语习语表达的理解能力，通过将602个样本细分为word-by-word（88例）、similar（100例）和different（414例）三类，系统性地揭示了英语主导训练数据对法语特定语言任务的负面影响。研究表明，当法语训练数据比例降至5%以下时，模型性能急剧下降（平均准确率从0.89跌至0.71），而纯粹英语训练的模型准确率仅达0.35，凸显了语言表征的不对称性。这一发现与当前NLP领域对多语言模型公平性的探讨紧密相关，尤其是在欧洲多语言社会背景下，EIFFEL为量化语言偏见提供了可复现的评估工具，推动了低资源语言保护与跨文化语言建模的实践。