Pancasila-Dilemmas

Pancasila-Dilemmas是由天津大学等机构构建的印尼价值观评估数据集，旨在评估大语言模型对印尼本土价值观的契合度。该数据集包含1,834个源自印尼新闻的多选题，涵盖宗教、人道、团结、民主和社会正义五大Pancasila核心价值观，每个问题由5名印尼本土标注者进行主观标注以捕捉人类偏好多样性。数据集通过爬取Kompas新闻门户、利用GPT-4o生成困境场景与选项，并经过母语者校对和质量控制流程精心构建。其核心应用于衡量大语言模型在印尼特定文化语境中的价值对齐能力，解决现有评估体系过度依赖西方或普世价值观而忽略地区性价值差异的问题。Pancasila-Dilemmas is an Indonesian values assessment dataset developed by Tianjin University and other institutions, designed to evaluate the alignment between large language models (LLMs) and Indonesian indigenous values. This dataset contains 1,834 multiple-choice questions sourced from Indonesian news, covering the five core Pancasila values: religion, humanity, unity, democracy, and social justice. Each question was subjectively annotated by five local Indonesian annotators to capture the diversity of human preferences. The dataset was meticulously constructed through three main stages: scraping news content from the Kompas news portal, generating dilemma scenarios and corresponding options using GPT-4o, followed by native speaker proofreading and a strict quality control workflow. Its core application is to measure the value alignment capability of LLMs in the specific Indonesian cultural context, addressing the limitation that existing evaluation systems overly rely on Western or universal values while ignoring regional value differences.

原始信息汇总

数据集概述

数据集名称：Pancasila-Dilemmas

来源：该数据集来源于论文《Pancasila-Dilemmas: Evaluating Large Language Models on Indonesian Human Value Dilemmas Grounded in Pancasila》。

所属机构：tjunlp-lab（TJU NLP Lab）

数据内容：该数据集专注于评估大型语言模型在基于“潘查希拉”（Pancasila，印度尼西亚国家哲学原则）的印尼人类价值观困境中的表现。数据以价值观困境的形式呈现，用于测试和衡量语言模型对印尼本土文化价值观的理解与对齐程度。

主要用途：用于评估和测试大型语言模型在面对与潘查希拉原则相关的印尼人类价值观困境时的推理与判断能力，属于价值观对齐与跨文化评估领域的研究资源。

论文背景：该数据集是论文的配套资源，旨在为大语言模型在印尼文化语境下的伦理与价值观评估提供标准化的测试基准。

搜集汇总

数据集介绍

构建方式

Pancasila-Dilemmas数据集的构建始于从印尼主流新闻门户Kompas爬取2024年全年的新闻标题，共计279,362条。为消除冗余，采用MinHash算法以0.2的阈值进行去重，保留9,155条标题。随后，利用GPT-4o通过4样本上下文学习对标题进行二元分类，识别出含有价值困境的标题2,075个。基于这些标题，爬取对应的新闻正文，并再次借助GPT-4o生成包含情境、问题和四个选项的多选题。每个条目最终由GPT-4o依据潘查希拉的五项价值观（宗教、人道、团结、民主、社会正义）进行标注。为确保质量，两位母语者根据标签准确性、写作质量、情境中立性、问题清晰度和选项质量等标准进行校对，最终保留1,834道高质量题目。

特点

该数据集的核心独特性在于其根植于印尼本土的潘查希拉价值观体系，而非泛化的西方或普世价值。每个问题皆取材于真实新闻中的两难困境，选项设计无绝对正误之分，而是映射不同的行为偏好，从而捕捉人类道德推理的复杂性和主观性。数据集通过五位来自不同地域、民族、宗教和职业背景的印尼公民进行标注，反映了多元化的公众意见分布，而非单一的多数投票结果。评价指标上，采用概率匹配分数（PMS）衡量语言模型与整体人类偏好分布的一致性，以及最大投票一致分数（MVAS）评估模型是否选择多数共识，这为价值对齐研究提供了更为精细的评估维度。

使用方法

使用Pancasila-Dilemmas数据集时，研究人员应将每个条目中的情境、问题和四个选项作为输入，要求被评估的语言模型从A、B、C、D中单选一个答案。为消除随机性，建议设置推理参数do_sample=False和temperature=0，并限制最大输出长度为8个token以强制输出选项标识符。评估可采用两种提示策略：潘查希拉提示要求模型扮演践行潘查希拉价值观的印尼公民，而通用提示则仅提供情境和选项。模型的输出需与五位人类标注者的选择分布进行对比，通过计算PMS和MVAS得分来量化模型在印尼国情下的价值对齐程度。该数据集公开于GitHub，便于研究者复现和扩展实验。

背景与挑战

背景概述

Pancasila-Dilemmas数据集诞生于2025年，由天津大学TJUNLP实验室联合印度尼西亚Universitas Universal等机构的研究团队构建。该数据集的核心研究问题在于评估大型语言模型（LLM）在印度尼西亚特有的潘查希拉（Pancasila）价值观体系下的价值对齐能力。潘查希拉作为印度尼西亚的官方意识形态，涵盖宗教、人道、团结、民主和社会正义五大核心价值，深刻影响着该国公民的日常道德决策。然而，现有价值对齐基准多聚焦于西方或普世价值观，缺乏对特定国家文化语境的深入考量。Pancasila-Dilemmas通过构建涵盖1834个基于真实印尼新闻的两难困境问题，首次为评估LLM在印尼本土价值观下的对齐程度提供了主观、多样化的基准。该数据集要求模型在多元且不存在绝对正解的选项中选择，从而衡量其与印尼公民偏好分布的一致性，对推动面向特定文化的LLM对齐研究具有重要影响力。

当前挑战

Pancasila-Dilemmas所应对的核心挑战在于，现有LLM的价值对齐评估无法有效捕捉印尼本土价值观的复杂性。首先，领域问题层面，LLM在统一道德框架下往往难以处理涉及宗教和团结等具有强烈本地文化内涵的两难情境，实验中所有模型在概率匹配得分（PMS）上均未超过0.52，最高多数投票一致得分（MVAS）也仅约0.73，暴露出显著的对齐鸿沟。其次，数据集构建过程中面临多重挑战：如何从海量新闻中自动筛选出蕴含价值冲突的真实两难场景，既需依赖LLM辅助生成，又必须通过母语者的严格校对以确保场景的客观中立和选项的合理性；同时，由于两难问题本身具有主观性，人类标注之间的一致性较低（Fleiss' Kappa仅约0.18），如何从多样化的公众意见中提取可靠的偏好分布以评估模型，也是一项严峻挑战。地区性微调虽然带来了微弱提升，但整体上模型在开放生成任务中过度倾向协作型回应，远未能复现人类多样化的冲突解决风格。

常用场景

经典使用场景

Pancasila-Dilemmas作为首个基于印度尼西亚国家意识形态潘查希拉构建的主观多选困境评估数据集，其经典使用场景在于衡量大语言模型在印尼本土化价值对齐中的表现。通过呈现1,834道源自真实新闻的日常生活困境，每道题目均设计为四个行动选项而非标准答案，研究者能够系统性地评估模型在宗教、人道主义、团结、民主与社会正义五大核心价值维度上的决策倾向。该数据集特别适用于需要捕获价值冲突中人类偏好多样性的研究场景，弥补了传统单标签基准过于简化的局限。

实际应用

在实际部署层面，该数据集为面向印尼市场的语言模型安全性与文化适配性测试提供了不可或缺的评测工具。从政府数字化服务到企业客服系统，模型若未能理解潘查希拉价值中的宗教尊重与民族团结内涵，可能生成冒犯性内容或加剧社会分裂。开发者可利用此基准在模型上线前进行情景化压力测试，依据宗教与团结维度的薄弱表现针对性优化训练数据或微调策略。区域化模型如Sahabatai-AI的实例表明，该数据集能有效验证东南亚领域持续预训练的价值。

衍生相关工作

此数据集催生了多项具有深远影响的后续研究，尤其是在价值对齐方法论与区域化模型评估领域。其提出的概率匹配得分与最大投票一致性得分双重度量体系成为衡量主观人类偏好的标准框架，被后续关于韩国、中国等国家特定价值基准的研究采纳与扩展。此外，该数据集激发了基于汤姆斯-基尔曼冲突模式工具的分析范式，促使学界深入探索模型在开放式生成中过度偏向协作策略的倾向，进而推动了自我多元化文化对齐、细粒度人口价值映射等前沿技术的诞生，为构建真正尊重文化多元性的语言智能体系奠定了实证基础。