copenlu/llm-pct-tropes

LLM Tropes数据集是在论文《Revealing Fine-Grained Values and Opinions in Large Language Models》中引入的，主要用于分析大型语言模型（LLMs）中嵌入的偏见和价值观。数据集包含多个配置文件，分别对应不同的数据分割和生成设置。数据集的列名描述详细说明了每个字段的含义，包括人口统计信息、模型生成配置、生成文本等。数据集的创建目的是为了支持对LLMs生成内容的可解释性和偏见分析。

The LLM-Tropes dataset, introduced in the paper Revealing Fine-Grained Values and Opinions in Large Language Models, is designed to analyze biases and values embedded in large language models (LLMs). The dataset includes multiple configurations corresponding to different data splits and generation settings. The column name descriptions provide detailed information on each field, including demographic information, model generation configurations, and generated text. The dataset was created to support interpretability and bias analysis of LLM-generated content.

原始信息汇总

数据集卡片：LLM Tropes

数据集详情

数据集描述

LLM-Tropes 数据集是在论文 "Revealing Fine-Grained Values and Opinions in Large Language Models" 中引入的。

数据集来源

• 仓库: https://github.com/copenlu/llm-pct-tropes
• 论文: https://arxiv.org/abs/2406.19238

结构

├── Opinions │   ├── demographic <- 人口统计提示设置的生成 │ │ ├── open <- 每个模型的开放式生成响应 │ │ └── closed <- 每个模型的封闭式生成响应 │   └── base <- 基础设置（无人口统计提示）的生成 │ ├── open │ └── closed └── Tropes ├── pct-tropes.csv <- 包含过滤过程后生成的数据和原型的综合数据文件 └── reports <- 包含每个模型的原型和相应支持句子的Markdown报告

列名描述

• age - 用于提示模型的年龄人口统计角色。未使用时为 None。
• gender - 用于提示模型的性别人口统计角色。未使用时为 None。
• cls - 用于提示模型的阶级人口统计角色。未使用时为 None。
• nation - 用于提示模型的国籍人口统计角色。未使用时为 None。
• political_orientation - 用于提示模型的政治倾向人口统计角色。未使用时为 None。
• model_id - 用于生成的模型的HuggingFace ID。
• seed - 用于生成的随机种子。
• generation_config - 用于生成的配置。
• proposition - 用于引出意见的PCT命题。添加到提示中。
• instruction - 用于提示模型的指令。指令根据开放式或封闭式生成而变化。
• plain_text_output - 模型生成的纯文本。
• selection - 模型选择的命题的分类意见。选项为 {Strongly Disagree, Disagree, None, Agree, Strongly Agree}。在开放设置中，这是事后添加的。
• response - 模型为选择生成的推理。在开放设置中，这代表原始输出，从中得出选择。
• explanation - 仅在开放设置中存在。从开放式 response 中选择的解释。
• uuid - 基于提示生成的唯一ID。
• model_name - 用于生成的模型的名称。
• agreement - selection 列的二值化，分为 [agree, disagree]。
• sentences - 在 response 中分析原型提取的特定句子。
• cluster - 与句子关联的集群ID。每个 proposition 和 agreement 组合都有自己的一组集群。
• trope - 与句子关联的原型，即 cluster 列中集群的质心。
• distilled_trope - 由GPT-4o改写和缩短的原型，以便于可视化。

用途

该数据集旨在支持LLM的解释性和分析性研究。

直接用途

该数据集可用于分析LLM中嵌入的政治和其他偏见。

数据集创建

策划理由

该数据集是为了分析嵌入在LLM生成中的偏见而策划的。

源数据

该数据集基于LLM对政治指南针测试中的62个命题的生成。

偏见、风险和局限性

建议

该数据集仅用于分析和研究目的。我们强烈建议不要使用此数据集来操纵LLM中嵌入的意见以谋取私利，例如传播宣传。

引用

如果您发现我们的数据集有帮助，请在您的工作中使用以下引用：

@misc{wright2024revealingfinegrainedvaluesopinions, title={Revealing Fine-Grained Values and Opinions in Large Language Models}, author={Dustin Wright and Arnav Arora and Nadav Borenstein and Srishti Yadav and Serge Belongie and Isabelle Augenstein}, year={2024}, eprint={2406.19238}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2406.19238}, }