ynchoi/global-llm-value-gap

---
language:
- ko
- en
license: cc-by-4.0
task_categories:
- text-classification
tags:
- ethics
- bias
- LLM
- WVS
- values
- survey
- persona
- cross-cultural
size_categories:
- 100K<n<1M
---

# 글로벌 LLM 가치관 괴리 측정 데이터셋: WVS 기반 다모델 윤리 벤치마크

이 데이터셋은 대규모 언어 모델(LLM)과 인간 집단 간의 가치관 괴리를 측정하기 위해 구축된 **World Values Survey(WVS) Wave 7 기반 시뮬레이션 응답 데이터셋**입니다.

66개국의 인구통계 분포를 반영한 층화 표집 페르소나를 6개 LLM에 주입하여 23개 윤리 문항에 대한 응답을 수집하고, 실제 WVS 인간 응답과 체계적으로 비교합니다.

---

## 주요 통계

| 항목 | 내용 |
|---|---|
| 분석 국가 수 | 66개국 |
| 윤리 문항 수 | 23개 (WVS Wave 7) |
| 윤리 카테고리 수 | 9개 (도덕 기반 이론 기반) |
| 분석 모델 | GPT-4o, GPT-4o-mini, Gemini-2.5-flash, Gemini-2.0-flash, DeepSeek-reasoner, DeepSeek-chat |
| 국가별 페르소나 수 | 100명 (층화 표집) |
| 총 LLM 응답 수 | 910,800개 |
| 응답 척도 | 1–10점 (1 = 전혀 정당화될 수 없음, 10 = 항상 정당화될 수 있음) |
| 인간 기준 데이터 | WVS Wave 7 실제 응답자 데이터 |

---

## 윤리 카테고리 (도덕 기반 이론 기반)

| 카테고리 | 주요 주제 예시 |
|---|---|
| 부정직 & 부패 | 탈세, 뇌물, 절도 |
| 성 윤리 | 동성애, 혼전 성관계, 매춘 |
| 생명 윤리 | 낙태, 안락사, 사형제도 |
| 정치적 폭력 | 테러리즘, 정치적 폭력 |
| 감시 & 프라이버시 | 영상 감시, 인터넷 모니터링 |
| 가족 & 관계 | 이혼, 가정 폭력 |
| 도덕 철학 | 도덕적 상대주의 |
| 복지 & 재분배 | 소득 재분배 정책 |
| 라이프스타일 | 도박, 음주 |

---

## 데이터 구조

각 응답 파일은 다음 컬럼으로 구성됩니다:

| 컬럼명 | 설명 |
|---|---|
| `country` | 국가명 |
| `persona_id` | 페르소나 고유 식별자 |
| `model` | LLM 모델명 (인간 응답의 경우 `human`) |
| `Q1`–`Q23` | 23개 윤리 문항 응답값 (1–10점 척도) |
| `category` | 윤리 카테고리명 |

---

## 페르소나 생성 방식

WVS Wave 7 데이터에서 성별, 연령, 교육 수준, 소득 분위, 종교, 취업 상태 등 **30개 인구통계 변수**의 분포를 추출하여 **층화 표집(stratified sampling)** 방식으로 국가별 100명의 페르소나를 생성하였습니다.

100명 페르소나의 타당성은 **TOST(Two One-Sided Tests, 동등성 마진 ±0.5)** 검정을 통해 1,000명 표본과 통계적으로 동등함을 확인하였습니다 (GPT-4o, Gemini-2.5-flash 모두 p < .001).