JETHICS

JETHICS是一个用于评估人工智能模型道德理解能力的日语数据集，包含约7.8万个道德示例，分为四个基于伦理和政治哲学的规范性理论和概念类别，以及一个代表常识道德的类别。该数据集的构建方法遵循了现有的英语ETHICS数据集。JETHICS旨在解决当前大型语言模型在道德理解方面的不足，为促进人工智能的道德发展提供数据支持。JETHICS is a Japanese-language dataset designed to evaluate the moral understanding capabilities of artificial intelligence models. It contains approximately 78,000 moral examples, divided into five categories: four categories based on normative theories and concepts rooted in ethical and political philosophy, and one category representing commonsense morality. The construction methodology of JETHICS adheres to that of the existing English-language ETHICS dataset. JETHICS aims to address the current shortcomings in the moral understanding of large language models, providing data support for promoting the moral development of AI.

搜集汇总

数据集介绍

构建方式

JETHICS数据集通过精心设计的众包流程构建，旨在评估AI模型对日本道德规范的理解能力。研究团队聘请了日本本土的众包工作者，通过CrowdWorks平台创建了涵盖功利主义、义务论、美德伦理、正义理论及常识道德五个类别的道德场景实例。每个实例由多位标注者进行独立验证，采用多数表决机制确定最终标签，确保了数据标注的一致性和可靠性。数据收集过程严格遵循日本最低工资标准，保证了标注工作的专业性和公正性。

特点

JETHICS数据集作为首个反映日本道德价值观的大规模评估资源，包含77,896个经过严格验证的日文实例。其独特之处在于融合了西方规范伦理学理论与日本本土文化语境，特别是在常识道德类别中体现了日本特有的社会习俗。数据集涵盖五个理论维度，其中正义理论进一步细分为公平性和应得性两个子类，义务论则区分了角色相关性和表面义务两种情境，这种精细分类为全面评估AI模型的道德推理能力提供了多维框架。

使用方法

该数据集主要用于评估语言模型对日本道德规范的理解能力。研究者可采用8-shot的提示学习范式，针对不同道德类别设计特定指令模板进行测试。对于功利主义和常识道德类别，直接计算模型预测准确率；而在正义、义务论和美德伦理类别中，需要模型对关联语句组进行整体判断。实验表明，即使是GPT-4o在美德伦理类别上也仅达到0.445的准确率，这为后续模型在日本道德理解方向的优化提供了明确的改进空间。数据集也可用于跨文化伦理研究，但需注意其反映的是特定文化背景下的道德判断。

背景与挑战

背景概述

JETHICS数据集由名古屋大学和北海道大学的研究团队于2025年提出，旨在评估AI模型对日本伦理道德的理解能力。该数据集包含78,000个示例，基于伦理学和政治哲学中的四种规范性理论（功利主义、义务论、美德伦理和正义）以及常识道德构建而成。JETHICS的创建填补了非西方语言伦理数据集的空白，特别关注日本文化背景下的道德价值观。实验表明，即使是先进的GPT-4o模型在该数据集上的平均得分仅为0.7左右，突显了当前大型语言模型在跨文化伦理理解方面的不足。

当前挑战

JETHICS数据集面临的核心挑战体现在两个方面：领域问题方面，该数据集旨在解决AI模型在日本文化背景下伦理判断的准确性问题，但不同伦理理论（如功利主义）的主观性导致标注一致性较低（kappa=0.18），且模型对日本特有文化场景（如毕业典礼礼仪）的理解存在显著偏差；构建过程方面，数据收集面临文化特定性标注的困难，需要平衡规范性理论与日本本土道德观念，同时确保众包标注的质量控制，特别是在处理道德相对性场景时需维持标注标准的一致性。

常用场景

经典使用场景

JETHICS数据集作为日本语境下道德理解的评估工具，其经典使用场景主要聚焦于大型语言模型（LLMs）的道德对齐能力测试。通过涵盖功利主义、义务论、美德伦理等四大规范理论类别及常识道德类别，研究者可系统性评估模型在文化特异性情境（如日本社会中的礼仪规范）中的伦理判断准确性。例如，模型需判断‘在毕业典礼上独唱动漫主题曲’是否符合日本道德共识，此类任务能有效检验模型对文化细微差异的捕捉能力。

实际应用

在实际应用中，JETHICS可服务于日本本土AI产品的安全部署。例如，聊天机器人开发者可通过该数据集检测模型是否会在建议‘海鲜过敏者食用醋溜猪肉’等场景中产生伦理偏差。其标注框架（如义务论中的‘角色关联义务’子类）已被用于优化客服AI的职责边界判断，而正义理论相关数据则支撑了招聘算法中公平性评估模块的开发，显著降低了基于左利手等非相关特征的歧视风险。

衍生相关工作

JETHICS的构建方法论衍生出多项经典研究：其基于规范伦理学的分类体系被扩展至韩语道德数据集K-ETHICS的开发；标注流程中采用的多数投票验证机制被Adaptive Moral Annotation框架改进为动态权重分配；而发现的GPT-4o文化认知局限则催生了跨文化道德知识注入技术MoralCultureBERT，该技术通过对比学习增强模型对东亚道德范式的理解。