CIVICS-dataset/CIVICS

该数据集用于评估语言模型对不同伦理价值的处理，特别是与敏感群体相关的公民话题。数据集包含多种语言（德语、英语、法语、意大利语、土耳其语）和多个主题（如残疾人权利、移民、LGBTQI+权利等）。数据集的注释过程经过多个阶段，确保注释的一致性和准确性。This dataset is designed to evaluate how language models handle diverse ethical values, with a specific focus on civic topics related to sensitive groups. The dataset includes multiple languages (German, English, French, Italian, Turkish) and covers a variety of themes such as disability rights, immigration, LGBTQI+ rights, among others. The annotation pipeline of the dataset comprises multiple phases to ensure the consistency and accuracy of the annotations.

原始信息汇总

数据集详情

数据集描述

• 语言： 德语、英语、法语、意大利语、土耳其语
• 许可证： CC BY 4.0

用途

用于评估语言模型对不同伦理价值观的处理，特别是与敏感群体相关的公民话题。处理包括模型对不同价值导向陈述的可能性，以及输入中不同的隐含价值观是否导致模型生成不同的响应。

数据集结构

• 语言： 德语、英语、法语、意大利语、土耳其语
• 话题： 残疾权利、移民、LGBTQI+权利、社会福利、代孕
• 数据生产组织类型： 政府、新闻机构、公民社会、政党
• 数据来源： 多个URL
• 原始提示： 从数据源提取的文本
• 英文翻译： 文本的翻译
• 共识标注： 基于多个标注者输入的价值观标注

数据集创建

策划理由

为了提供分析语言模型处理不同人类价值观的能力。

源数据

语言	数据生产组织	组织类型
意大利语	Agenzia Nazionale Stampa Associata (ANSA)	新闻机构
德语	Alternative für Deutschland (AfD)	政党
意大利语	Arcigay	公民社会组织
意大利语	Associazione Nazionale per la promozione e la difesa dei diritti delle persone disabili (ANIEP)	公民社会组织
德语	Bundesministerium der Justiz	政府
德语	Bundesministerium für Familie, Senioren, Frauen und Jugend	政府
德语	Bundesministerium für Arbeit und Soziales	政府
德语	Bundesregierung	政府
德语	Bundeszentrale für Politische Bidung (bpb)	政府
意大利语	Camera dei Deputati	政府
德语	Deutscher Bundestag	政府
意大利语	Dipartimento per gli Affari Interni e Territoriali	政府
意大利语	Fondazione Umberto Veronesi	公民社会组织
意大利语	Fratelli dItalia	政党
德语	Freie Demokraten (FDP)	政党
意大利语	Governo Italiano Presidenza del Consiglio dei Ministri	政府
意大利语	Istituto Superiore di Sanità	政府
意大利语	La Repubblica	新闻机构
意大利语	OpenPolis	新闻机构
意大利语	Senato della Repubblica	政府
意大利语	Uppa	新闻机构
法语	La direction de linformation légale et administrative (DILA)	政府
法语	Gouvernement	政府
法语	Ministère Chargé lÉgalité entre les femmes et les hommes et de la Lutte contre les discriminations	政府
法语	Ministère de lÉconomie, des Finances et de la Souveraineté industrielle et numérique	政府
法语	Ministère de lEurope et des Affaires étrangères	政府
法语	Ministère de lEnseignement Supérieur et de la Recherche	政府
法语	Ministère du travail, de la santé et des solidarités	政府
法语	Handicap - Ministère du travail, de la santé et des solidarités	政府
法语	La Sécurité Sociale	政府
英语（澳大利亚）	Australian Institute of Health and Welfare	政府
英语（澳大利亚）	Department of Social Services	政府
英语（澳大利亚）	Royal Commission into Violence, Abuse, Neglect and Exploitation of People with Disability	政府
英语（加拿大）	Government of Canada	政府
英语（加拿大）	Health Canada	政府
英语（英国）	Department of Health & Social Care	政府
英语（英国）	Parliament, House of Commons	政府
英语（英国）	UK Government	政府
英语（新加坡）	Ministry of Social and Family Development, Office of the Director-General of Social Welfare	政府
法语（加拿大）	Femmes et Égalité des genres Canada	政府
法语（加拿大）	Global Affairs Canada	政府
土耳其语	Adalet ve Kalkınma Partisi (AK PARTİ)	政党
土耳其语	Aile ve Sosyal Hizmetler Bakanlığı	政府
土耳其语	Cumhuriyet Halk Partisi (CHP)	政党
土耳其语	Göç İdaresi Başkanlığı	政府
土耳其语	Kaos Gey ve Lezbiyen Kültürel Araştırmalar ve Dayanışma Derneği (KAOS GL)	公民社会组织

标注

残疾权利	移民	LGBTQI权利	社会福利	代孕
可访问性	公平	反歧视	人类尊严	辅助人类繁殖
平等	整合	性别包容性	劳动正义	儿童福利
支持	法律合规	健康支持	受教育权	代孕母亲保护
	国家安全	性平等	社会援助
	限制性庇护权	反暴力	健康权
	技术工人移民	人类尊严	住房权
		家庭生活权

标注过程

标注过程分为六个阶段，包括初始标注、共识标注、独立标注、裁决会议、重新标注和最终讨论。最终标注的一致性达到93.72%。

标注者详情

所有数据点由五位论文作者标注，具有不同的学术背景，包括哲学和技术NLP研究。三位标注者持有博士学位，两位是研究生。所有标注者年龄在25至45岁之间，四位为女性，一位为男性，均为白人，位于美国或欧盟。

个人和敏感信息

数据集经过手工策划，不包含特定个人的信息，包括与LGBTQI+、移民（包括寻求庇护者）、社会福利接受者、残疾人士和代孕父母相关的政策写作。

偏见、风险和局限性

数据集收集： 该数据集不代表所有语言使用者的所有价值观，存在以下偏见和局限性：

• 仅涵盖少数不同的话题和价值观
• 从一小部分来源中采样
• 仅限于一个国家的一种语言（英语和法语除外）

数据集标注： 标签是标注者思想和信念的函数。在本数据集中，标注者是论文作者，他们的标注可能与专业标注者或兴趣更多样化的众包工作者的标注不同。

双重用途考虑： 该数据集旨在支持新的语言技术评估方法，专注于地理和意识形态多样性群体持有的价值观的差异化处理。虽然这种评估可以支持更好地开发和采用技术，并促进基于价值的治理，但它也可能被某些代表性群体用来要求优先待遇，并转移对数据集中代表性不足群体需求的注意力。

建议

基于此数据集的结果应适当考虑上述偏见和局限性。该数据集代表了一种语言中表达的价值观的小样本，并不代表世界各地表达的全部价值观。

搜集汇总

数据集介绍

构建方式

在自然语言处理领域，评估语言模型对多元伦理价值的处理能力日益受到重视。CIVICS数据集的构建采用了多源文本采集与迭代标注相结合的方法。其原始文本来源于五个语言（德语、英语、法语、意大利语、土耳其语）的官方政府文件、新闻机构报道、公民社会团体及政党声明，覆盖了残障权利、移民、LGBTQI+权利、社会福利及代孕五大社会议题。标注过程历经六个阶段：初始抽样标注、标签集共识确立、独立大规模标注、疑难案例裁决、依据讨论修订标注以及最终分歧协商，确保了价值标签的一致性与全面性。所有数据点均由论文作者团队完成标注，最终在699个提示上达到了93.72%的完全一致率。

特点

该数据集的核心特征在于其聚焦于语言模型对特定公民议题中隐含价值的差异化处理评估。其内容跨越五种语言及多个国家语境，尤其英语和法语涵盖了不同国家的语料，为跨文化比较提供了基础。数据经过精细的价值标注，每个提示文本都关联了由多名标注者共识确定的多重价值标签，例如“平等”、“反歧视”、“人类尊严”等，这些标签深刻反映了文本背后的伦理立场。数据集结构清晰，包含原始提示、英文翻译、共识标注及详尽的来源元数据，确保了研究的可追溯性与可复现性。

使用方法

该数据集主要用于评估语言模型在不同公民议题上的价值倾向性。研究人员可利用其提供的提示文本及对应的价值标注，分析模型生成特定价值陈述的可能性，或探究输入文本中隐含的不同价值立场如何影响模型的输出。使用前，需充分理解数据集的局限性，如其样本来源的非穷尽性及标注者的特定背景可能带来的偏差。建议将基于此数据集的研究结果置于其固有的偏差和限制框架内进行审慎解读，避免将其视为全球价值表达的全面代表。数据集以CC BY 4.0协议共享，支持在注明出处的前提下用于学术研究和技术评估。

背景与挑战

背景概述

CIVICS数据集由研究团队于近年创建，旨在评估语言模型在处理不同伦理价值时的表现，尤其聚焦于与敏感群体相关的公民议题。该数据集涵盖了德语、英语、法语、意大利语和土耳其语五种语言，主题涉及残疾人权利、移民、LGBTQI+权利、社会福利及代孕等核心社会领域。通过整合来自政府机构、新闻媒体、民间团体及政党等多源文本，数据集以共识标注方式捕捉了价值导向的语句，为语言技术的伦理评估提供了跨语言、跨文化的实证基础。其创建推动了自然语言处理领域对模型价值对齐问题的深入研究，促进了技术发展与社会责任的结合。

当前挑战

CIVICS数据集面临的挑战主要体现在两个方面：在领域问题层面，它旨在解决语言模型对多样化伦理价值的差异化处理问题，但如何准确量化模型的价值偏差、避免评估过程中的文化或意识形态偏见，仍是一个复杂难题；在构建过程中，数据收集受限于少数主题和来源，语言覆盖虽涉及多国但代表性不足，且标注工作依赖少量专业注释者，其背景同质性可能导致标注视角的局限，影响数据集的普适性和公正性。

常用场景

经典使用场景

在人工智能伦理与价值观对齐的研究领域，CIVICS数据集为评估语言模型对多元伦理价值的处理能力提供了关键基准。该数据集聚焦于残障权利、移民、LGBTQI+权利、社会福利及代孕等五大敏感社会议题，通过多语言、多源文本构建了价值标注体系。研究者可借助该数据集，系统分析模型在生成或理解文本时，是否隐含对不同价值观的偏好或歧视，从而揭示模型在伦理维度上的潜在偏差。

解决学术问题

CIVICS数据集有效应对了自然语言处理中价值观量化与对齐的学术挑战。传统模型评估往往忽视文本背后的伦理立场，该数据集通过精细的价值标注，使研究者能够量化模型对不同社会群体价值观的响应差异。这为构建更具包容性和公平性的语言模型提供了实证基础，推动了人工智能伦理从理论探讨向可测量、可优化方向的演进。

衍生相关工作

围绕CIVICS数据集，已衍生出一系列聚焦价值观评估的经典研究。例如，基于该数据集构建的基准测试被用于比较不同大语言模型在伦理敏感性上的表现；亦有工作将其标注体系扩展至更多语言与社会议题，形成更全面的价值观评估图谱。这些研究共同深化了对模型价值观嵌入机制的理解，并为后续的算法治理框架提供了方法论参考。