GermanPartiesQA

GermanPartiesQA数据集由柏林Weizenbaum研究所、柏林工业大学和慕尼黑工业大学联合创建，基于Wahl-o-Mat投票建议应用，涵盖了2021年至2023年间10个州和1个国家的选举数据。该数据集包含418条政治声明和67个德国政治党派的官方回应，主要用于评估和比较商业大型语言模型与德国政党立场的一致性。数据集的创建过程遵循标准化的评估工具，旨在解决政治偏见和谄媚行为在多党制系统中的评估问题。

The GermanPartiesQA dataset was jointly created by the Weizenbaum Institute in Berlin, Technische Universität Berlin, and Technische Universität München, based on the Wahl-o-Mat voting recommendation application. It covers election data for 10 subnational states and 1 national level between 2021 and 2023. This dataset contains 418 political statements and official responses from 67 German political parties, and is primarily used to evaluate and compare the alignment between commercial large language models (LLMs) and the positions of German political parties. The dataset was developed following standardized evaluation frameworks, aiming to address the assessment of political bias and sycophancy in multi-party political systems.

搜集汇总

数据集介绍

构建方式

GermanPartiesQA数据集是基于德国投票建议应用程序Wahl-o-Mat的数据构建的。该数据集涵盖了2021年至2023年间10个州和1个全国选举的政治声明和政党回应。数据集包括418个政治声明和67个德国政党对这些声明的官方回应。为了评估政治偏见，研究选择了当前德国议会中七个主要政党的数据。此外，还创建了一个包含所有当前德国议会成员的数据库，包括他们的姓名、年龄、性别、教育和政党隶属关系，以用于实验中的角色描述。

特点

GermanPartiesQA数据集的主要特点是其多党制背景下的政治偏见评估。数据集提供了标准化的工具，用于评估LLMs与德国政党立场的基线对齐。此外，数据集还包含了基于德国联邦议院主要政党成员的社会人口学信息的角色描述，用于评估LLMs在接收到政治人物角色描述时的回应变化。数据集的设计允许研究人员探索LLMs中的政治偏见、谄媚和可操纵性。

使用方法

使用GermanPartiesQA数据集的方法分为两个步骤。首先，通过向LLMs提供政治声明并要求它们选择“同意”、“不同意”或“中立”来评估LLMs的政治偏见。这个过程重复10次以确保一致性。其次，通过在提示中添加基于德国联邦议院主要政党成员的社会人口学信息的角色描述，来评估LLMs的谄媚和可操纵性。研究人员可以通过比较LLMs在“我是[政治家X]”和“你是[政治家X]”两种提示下的回应来评估这些现象。

背景与挑战

背景概述

GermanPartiesQA数据集是在2021年至2023年间，由柏林Weizenbaum研究所、柏林工业大学和慕尼黑工业大学的研究人员共同创建的。该数据集旨在评估和比较大型语言模型（LLMs）在政治偏见和谄媚方面的表现。随着LLMs越来越影响人们的政治观点和投票决定，对LLMs进行审计以评估其偏见、谄媚或可操纵性已成为一个活跃的研究领域。GermanPartiesQA数据集基于德国的投票建议应用程序Wahl-o-Mat，涵盖了10个州选举和1个全国选举。该数据集的开发为评估多党制中LLMs的政治偏见和谄媚提供了一个基准，并对相关领域产生了重要影响。

当前挑战

GermanPartiesQA数据集面临的挑战包括：1)所解决的领域问题：评估LLMs在多党制中对政治偏见的倾向，以及它们对特定政治人物的反应如何变化；2)构建过程中所遇到的挑战：数据集的构建需要依赖于德国的投票建议应用程序Wahl-o-Mat，这要求研究人员对德国的政治体系有深入的了解，并且能够有效地处理和分析大量的政治声明和党派立场数据。

常用场景

经典使用场景

GermanPartiesQA数据集主要用于评估大型语言模型（LLMs）在多党制体系中对政治偏见的倾向。该数据集基于德国的Voting Advice Application Wahl-o-Mat，涵盖了2021年至2023年间的10次州选举和1次国家选举。通过该数据集，研究人员可以评估LLMs对德国主要政党立场的支持程度，并探究LLMs是否会在特定的政治人物提示下改变其输出，从而评估LLMs的政治偏向和顺从度。

实际应用

GermanPartiesQA数据集的实际应用场景包括政治偏见的检测和评估、LLMs的可操控性研究以及个性化内容生成的评估。通过该数据集，LLMs的开发者可以更好地了解其模型的政治偏向，并采取措施来减少这些偏向。政策制定者可以使用该数据集来制定评估和审计LLMs的标准，以确保其公正性和可靠性。最终用户可以更好地理解LLMs如何根据输入上下文调整其输出，从而更明智地使用LLMs提供的服务。

衍生相关工作

GermanPartiesQA数据集的衍生相关工作包括对LLMs政治偏向的进一步研究、LLMs可操控性的评估以及个性化内容生成的探索。该数据集为研究人员提供了一个评估LLMs政治偏向的基准，有助于开发新的评估方法和工具。此外，该数据集还可以用于研究LLMs如何根据不同的上下文调整其输出，从而为个性化内容生成提供新的见解。