aisingapore/SEA-NLI

SEA-NLI 是一个基于文化的自然语言推理基准数据集，专门设计用于评估大型语言模型对东南亚多样文化细微差别的理解能力。它超越了通常依赖简单词汇重叠或翻译英语内容的标准NLI数据集，专注于围绕特定东南亚文化概念的前提-假设对。每个示例都提供英语和相应的区域本地语言版本，以测试跨语言推理能力。数据集覆盖八个国家及其对应语言：柬埔寨（高棉语）、缅甸（缅甸语）、马来西亚（马来语）、泰国（泰语）、新加坡（泰米尔语）、菲律宾（菲律宾语/他加禄语）、印度尼西亚（印度尼西亚语）和越南（越南语）。数据集包含两个主要配置：normal（标准文化基础示例，共1,443个例子）和hard（具有挑战性的示例，需要深入文化知识，共717个例子），总计2,160个示例。数据字段包括entry_id、premise_english、hypothesis_english、premise_native、hypothesis_native、true_label等，涉及文化概念标题、描述、类别等信息。SEA-NLI is a culturally grounded Natural Language Inference (NLI) benchmark specifically designed to evaluate how well Large Language Models (LLMs) understand the diverse cultural nuances of Southeast Asia. It moves beyond standard NLI datasets that often rely on simple lexical overlap or translated English content, focusing on premise–hypothesis pairs centered on specific Southeast Asian cultural concepts. Each example is provided in both English and a corresponding regional native language to test cross-lingual reasoning. The dataset covers eight countries and their respective languages: Cambodia (Khmer), Myanmar (Burmese), Malaysia (Malay), Thailand (Thai), Singapore (Tamil), Philippines (Filipino/Tagalog), Indonesia (Indonesian), and Vietnam (Vietnamese). It includes two primary configurations: normal (standard culturally grounded NLI examples with filtered artifacts, 1,443 examples) and hard (challenging examples with minimal lexical overlap, requiring deep cultural knowledge, 717 examples), totalling 2,160 examples. Data fields include entry_id, premise_english, hypothesis_english, premise_native, hypothesis_native, true_label, concept_title, concept_description, concept_category, culture, and others.

搜集汇总

数据集介绍

构建方式

SEA-NLI数据集的构建遵循一条严谨的多阶段流水线。首先，从与八个东南亚国家相关的维基百科页面中提取文化概念。随后，利用大语言模型生成融合文化背景的前提与假设文本对。为剔除依赖简单词汇重叠即可推断的样本，研究团队依次采用词袋逻辑回归模型与强效NLI编码器进行筛选，将被判定为存在捷径的样本移除或送入硬集重建阶段。在硬集生成中，施加更严格的约束条件，确保样本必须依赖深层文化知识与逻辑推理才能正确判别。最终，所有样本均经过目标语种母语者的严格人工审核，以确保标签正确、翻译质量与文化准确性。

特点

该数据集的核心特色在于其强烈的文化根基与多语言覆盖。SEA-NLI涵盖缅甸语、印尼语、高棉语、马来语、他加禄语、泰米尔语、泰语、越南语及英语九种语言，每一条样本均提供英语与对应区域母语双版本，专门用于检验多语言模型在跨语言环境下的文化理解能力。数据集划分为两个配置：常规集包含1443条经筛选的样本，硬集则包含717条需要深度文化知识才能解答的挑战性样本。此外，每条样本均标注了所属的文化概念、概念类别、国家背景以及改进后的推理描述，为分析模型的推理失败与文化知识缺失原因提供了详尽线索。

使用方法

SEA-NLI的使用方式简洁且针对性明确。用户可通过HuggingFace Datasets库直接加载数据，分别读取常规集与硬集两个配置。在评估模型时，可以选择使用英语版本进行跨文化理解测试，亦可使用母语版本考察模型对低资源语言的推断能力。数据集的核心任务为自然语言推断，即判断假设与前提之间的关系为蕴含、中性或矛盾。借助概念描述、类别标签及改进推理字段，研究者能够深入分析模型在特定文化概念上的表现差异，从而定位知识盲区并优化跨文化推理能力。

背景与挑战

背景概述

SEA-NLI由AI Singapore、VISTEC、朱拉隆功大学及MBZUAI等机构于2026年联合创建，旨在填补自然语言推理领域对东南亚文化理解评估的空白。现有NLI基准多基于西方中心主义文化背景，难以衡量模型对东南亚地区多元文化概念及低资源语言的推理能力。为此，研究团队精心构建了涵盖柬埔寨、缅甸、马来西亚、泰国、新加坡、菲律宾、印度尼西亚和越南八国语言的跨语言推理数据集，每个样本均包含英文与区域原生语言对照，并围绕特定文化概念设计前提-假设对。该数据集引入“normal”与“hard”两种难度的配置，其中“hard”子集通过最小化词汇重叠来强制模型调用深层文化知识，从而系统性地评估大语言模型的文化理解力与跨语言迁移能力，对推动低资源语言NLP研究及文化包容性AI发展具有重要影响。

当前挑战

SEA-NLI核心挑战在于构建能够揭示模型文化知识缺口的评测框架，其领域问题涉及如何突破传统NLI基于表层词汇匹配或翻译文本的局限，转向对隐含文化常识和区域特定言语逻辑的深度推理。构建过程中面临多重困境：首先，从Wikipedia中精准提取代表性文化概念并生成自然贴切的前提-假设对，需兼顾文化准确性、语言地道性和逻辑一致性；其次，通过词袋逻辑回归与强NLI编码器进行过滤时，需在排除简单捷径样本与保留必要文化线索间取得平衡；此外，“hard”子集的重新生成要求施加更严格的约束，迫使模型依赖超越表层重叠的推理路径，这对LLM生成与人工审核都提出了极高要求。最终，来自八国的母语审核者需确保标签、文化内容及翻译质量的严密正确，构建过程复杂而精细。

常用场景

经典使用场景

在自然语言理解的研究版图中，SEA-NLI被广泛用于评估大语言模型对东南亚地区文化特异性的推理能力。它要求模型在蕴含、中立与矛盾三类标签间做出判断，并根据前提与假设之间隐含的文化知识进行逻辑推演。数据集中包含“normal”与“hard”两种配置，后者刻意降低词汇重叠，迫使模型依赖深层文化理解而非表面模式完成推理。典型场景包括跨语言NLI任务，即分别用英语各与地区本土语言输入同一对句子，以考察模型在不同语言下对同一文化概念的理解是否一致。此外，研究者亦通过比较模型在两种语言上的表现差，来探测跨语种知识迁移的瓶颈与文化盲区。

解决学术问题

SEA-NLI直面自然语言推理领域长期存在的文化偏向问题。传统NLI基准如SNLI或MultiNLI主要基于英语或西方语境构建，使得模型在这些任务上表现优异却无法真实反映其对非西方文化的理解深度。该数据集提供了一个系统性的工具，用于揭示模型在处理东南亚地区如稻神祭祀、传统舞蹈与殖民历史等概念时，是否具备足够的知识基础与因果推理能力。通过分析模型在不同文化子集上的失败模式，研究者能够精确定位知识获取的薄弱环节，从而推动多文化NLI研究从单一语言中心向多元文化覆盖迈进。

衍生相关工作

SEA-NLI的出现催生了一系列关于文化感知语言理解的研究工作。部分学者基于其标注结构，提出了“文化感知推理链”方法，让模型在推理前先外显地检索相关文化知识，以提升在困难分集上的准确率。另一些工作借鉴其八语言覆盖的设计思路，构建了面向南亚或中东地区的类似文化NLI数据集，形成了文化基准的家族化趋势。在模型评估方向上，SEA-NLI被用作探针，结合对抗性样本技术来区分模型的文化记忆与真实推理能力。该数据集也被纳入多语言模型能力测试套件，成为检测大语言模型文化敏感度的一项重要参考标准。