Anthropic/llm_global_opinions

---
license: cc-by-nc-sa-4.0
language:
- en
size_categories:
- 1K<n<10K
---
# Dataset Card for GlobalOpinionQA

## Dataset Summary
The data contains a subset of survey questions about global issues and opinions adapted from the [World Values Survey](https://www.worldvaluessurvey.org/) and [Pew Global Attitudes Survey](https://www.pewresearch.org/).

The data is further described in the paper: [Towards Measuring the Representation of Subjective Global Opinions in Language Models](https://arxiv.org/abs/2306.16388).

## Purpose
In our paper, we use this dataset to analyze the opinions that large language models (LLMs) reflect on complex global issues.
Our goal is to gain insights into potential biases in AI systems by evaluating their performance on subjective topics.

## Data Format
The data is in a CSV file with the following columns:
- question: The text of the survey question.
- selections: A dictionary where the key is the country name and the value is a list of percentages of respondents who selected each answer option for that country.
- options: A list of the answer options for the given question.
- source: GAS/WVS depending on whether the question is coming from Global Attitudes Survey or World Value Survey.

## Usage
```python
from datasets import load_dataset
# Loading the data
dataset = load_dataset("Anthropic/llm_global_opinions")
```
## Disclaimer
We recognize the limitations in using this dataset to evaluate LLMs, as they were not specifically
designed for this purpose. Therefore, we acknowledge that the construct validity of these datasets when applied to LLMs may be limited.

## Contact
For questions, you can email esin at anthropic dot com

## Citation
If you would like to cite our work or data, you may use the following bibtex citation:

```
@misc{durmus2023measuring,
title={Towards Measuring the Representation of Subjective Global Opinions in Language Models},
author={Esin Durmus and Karina Nyugen and Thomas I. Liao and Nicholas Schiefer and Amanda Askell and Anton Bakhtin and Carol Chen and Zac Hatfield-Dodds and Danny Hernandez and Nicholas Joseph and Liane Lovitt and Sam McCandlish and Orowa Sikder and Alex Tamkin and Janel Thamkul and Jared Kaplan and Jack Clark and Deep Ganguli},
year={2023},
eprint={2306.16388},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```

许可证：CC BY-NC-SA 4.0（知识共享署名-非商业性使用-相同方式共享4.0国际许可协议）
语言：
- 英语（en）
样本规模区间：1000 < n < 10000
---
# GlobalOpinionQA 数据集卡片

## 数据集概述
本数据集包含改编自[世界价值观调查（World Values Survey）](https://www.worldvaluessurvey.org/)与[皮尤全球态度调查（Pew Global Attitudes Survey）](https://www.pewresearch.org/)的全球议题及主观观点类调查问卷子集。
本数据集的详细说明可参见论文：[《量化大语言模型中主观全球观点的呈现》（Towards Measuring the Representation of Subjective Global Opinions in Language Models）](https://arxiv.org/abs/2306.16388)。

## 数据集用途
在本研究论文中，我们使用该数据集分析大语言模型（Large Language Model，LLM）所反映的复杂全球议题观点。我们的目标是通过评估模型在主观议题上的表现，深入洞察AI系统中潜在的偏见。

## 数据格式
本数据集以CSV文件格式存储，包含以下字段：
- `question`：调查问卷的问题文本
- `selections`：字典结构，键为国家名称，值为对应国家中各答案选项的受访者选择占比列表
- `options`：给定问题的答案选项列表
- `source`：数据来源标识，其中GAS为全球态度调查（Global Attitudes Survey）的缩写，WVS为世界价值观调查（World Value Survey）的缩写，若问题来自前者则标注为`GAS`，来自后者则标注为`WVS`

## 使用方法
python
from datasets import load_dataset
# 加载目标数据集
dataset = load_dataset("Anthropic/llm_global_opinions")

## 免责声明
我们认识到使用本数据集评估大语言模型存在局限性，因为该数据集并非专门为此用途设计。因此，我们承认将本数据集应用于大语言模型评估时，其结构效度可能存在局限。

## 联系方式
如有疑问，请发送邮件至 [e-mail]。

## 引用格式
若您希望引用本研究或本数据集，可使用以下BibTeX引用格式：

@misc{durmus2023measuring,
title={Towards Measuring the Representation of Subjective Global Opinions in Language Models},
author={Esin Durmus and Karina Nyugen and Thomas I. Liao and Nicholas Schiefer and Amanda Askell and Anton Bakhtin and Carol Chen and Zac Hatfield-Dodds and Danny Hernandez and Nicholas Joseph and Liane Lovitt and Sam McCandlish and Orowa Sikder and Alex Tamkin and Janel Thamkul and Jared Kaplan and Jack Clark and Deep Ganguli},
year={2023},
eprint={2306.16388},
archivePrefix={arXiv},
primaryClass={cs.CL}
}

原始信息汇总

数据集概述

名称：GlobalOpinionQA

来源：数据集包含从World Values Survey和Pew Global Attitudes Survey中选取的关于全球问题和意见的调查问题子集。

目的：用于分析大型语言模型（LLMs）在复杂全球问题上的意见反映，以洞察AI系统在主观话题上的潜在偏见。

数据格式：CSV文件，包含以下列：

• question：调查问题的文本。
• selections：字典，键为国家名，值为该国家选择每个答案选项的受访者百分比列表。
• options：给定问题的答案选项列表。
• source：GAS/WVS，表示问题来源是Global Attitudes Survey还是World Value Survey。

许可证：cc-by-nc-sa-4.0

语言：英语

大小：1K<n<10K

引用：

@misc{durmus2023measuring, title={Towards Measuring the Representation of Subjective Global Opinions in Language Models}, author={Esin Durmus and Karina Nyugen and Thomas I. Liao and Nicholas Schiefer and Amanda Askell and Anton Bakhtin and Carol Chen and Zac Hatfield-Dodds and Danny Hernandez and Nicholas Joseph and Liane Lovitt and Sam McCandlish and Orowa Sikder and Alex Tamkin and Janel Thamkul and Jared Kaplan and Jack Clark and Deep Ganguli}, year={2023}, eprint={2306.16388}, archivePrefix={arXiv}, primaryClass={cs.CL} }

搜集汇总

数据集介绍

构建方式

Anthropic/llm_global_opinions数据集的构建，是基于对全球性议题的调查问卷进行筛选与适配，这些问卷来源于世界价值调查（World Values Survey）和皮尤全球态度调查（Pew Global Attitudes Survey）。数据集的构建旨在反映大型语言模型在处理复杂全球议题上的意见表达，进而评估AI系统在主观议题上的潜在偏见。数据以CSV格式组织，包含问题文本、各国答案选项的百分比分布、答案选项列表以及数据来源信息。

特点

该数据集的特点在于，它包含了对全球性问题的主观意见，这些问题覆盖了不同国家和地区的观点，为研究大型语言模型在处理主观议题时的表现提供了独特的视角。此外，数据集的构建遵循了Creative Commons BY-NC-SA 4.0许可，保证了数据的合法使用与共享。数据集规模适中，为1K到10K条目，便于不同规模的语言模型进行训练与评估。

使用方法

使用Anthropic/llm_global_opinions数据集，首先需要通过datasets库加载。加载后的数据集可以直接用于分析大型语言模型在处理主观全球议题时的表现。用户可以通过编程接口访问问卷问题、答案选项及其在全球范围内的分布情况。需要注意的是，由于该数据集并非专为评估语言模型而设计，其构建的有效性可能存在局限，使用时需谨慎解读结果，并结合实际应用场景进行考量。

背景与挑战

背景概述

在人工智能技术迅猛发展的当下，对大型语言模型（LLM）在处理全球性议题上的主观意见表现进行评估，成为研究界关注的焦点。Anthropic/llm_global_opinions数据集，创建于2023年，由Esin Durmus等研究人员提出，旨在通过对全球议题调查问卷的分析，探究LLM在处理主观话题时的潜在偏见。该数据集改编自世界价值调查（World Values Survey）和皮尤全球态度调查（Pew Global Attitudes Survey），是研究AI系统在主观议题上表现的重要资源，对理解并优化AI系统在全球问题上的反应具有显著影响。

当前挑战

该数据集的构建与应用面临多重挑战。首先，数据集并非专为评估LLM而设计，因此在构造 validity 方面存在局限性，这为评估结果的准确性带来了挑战。其次，全球议题的多样性和复杂性要求LLM具备高度的理解和推理能力，而这一点在实际应用中往往难以达到。再者，数据集在反映不同国家和地区的意见分布时，可能存在偏差，这对于模型的公平性和无偏性提出了更高的要求。

常用场景

经典使用场景

在人工智能领域，对于理解主观性全球观点的表征，Anthropic/llm_global_opinions数据集提供了独特的视角。该数据集来源于世界价值观调查和皮尤全球态度调查，经过改编，成为研究者在探究大型语言模型（LLM）对复杂全球议题所反映观点时的重要资源。经典使用场景包括评估LLM在不同国家文化背景下的回答偏好，以及它们如何处理具有主观色彩的议题。

解决学术问题

该数据集解决了评估AI系统在处理主观话题时可能存在的偏见问题。通过使用Anthropic/llm_global_opinions数据集，研究者能够深入理解LLM在反映全球观点方面的表现，进而揭示AI系统在处理主观性内容时的潜在偏差，这对于提高AI系统的公平性和透明度具有重要意义。

衍生相关工作

基于Anthropic/llm_global_opinions数据集的研究成果，已衍生出一系列相关工作，包括对LLM在不同文化背景下的表现进行定量分析，以及探索如何通过训练数据的选择和预处理来减少AI系统的偏见。这些研究为AI伦理和偏见缓解领域提供了宝贵的方法论和实证数据。