pluralistic-value-conflict-benchmark

Pluralistic Value-Conflict Benchmark 是一个从自主家庭机器人模拟中自动提取的价值冲突场景数据集，涵盖20种文化背景。这些场景通过多日的大语言模型（LLM）代理模拟产生，模拟中一个家用类人机器人（Aria）和2-3名家庭成员执行各自的日常计划，冲突源于自然重叠的任务而非预设脚本。数据集当前版本（v3）包含6,920个独特场景，覆盖45种独特的价值对和407种家庭组成。每个场景包含详细的信息，如场景ID、时间、地点、在场代理、对话、场景中的对象、预期行为以及价值冲突的具体描述（包括冲突的价值对、情境和可能的行动）。数据集的价值分类基于Schwartz基本人类价值和HRI伦理文献，分为10个类别。适用于文本分类、价值对齐、人机交互、伦理和基准测试等任务。

原始信息汇总

Pluralistic Value-Conflict Benchmark 数据集概述

数据集基本信息

• 名称：Pluralistic Value-Conflict Benchmark
• 许可协议：MIT
• 任务类别：文本分类
• 主要语言：英语
• 标签：价值对齐、人机交互、伦理、基准测试、多元价值
• 数据规模：1K<n<10K

数据集简介

该数据集包含从20种文化背景下的自主家庭机器人模拟中自动提取的价值冲突场景。场景通过多日的大语言模型智能体模拟生成，模拟中一个家用仿人机器人（Aria）与2-3名家庭成员执行各自的日常计划；冲突源于任务的自然重叠，而非预设的提示。

版本信息

版本	运行ID	场景数	独特价值对	状态
v3 (当前)	benchmark_1k_v3_multitarget	6,920 个独特场景	45	新版本
v2 (存档)	benchmark_1k_v2_diversity	878 个独特场景	48	已保存

v3版本相对于v2的改进：

• 多目标轴旋转：每个情景覆盖3个价值对轴，而非1个，使覆盖范围增长约8倍。
• 保留每个情景的工件来源（冲突事件、碰撞、记忆流、反思）。
• 每个情景包含完整的复现元数据。

数据集统计摘要 (v3)

指标	数值
情景数	120
提取的原始场景数	6,921
独特场景数 (去重后)	6,920
移除的重复项	1
独特价值对	45
独特家庭构成	407
文化预设	20
情景变体	3 (痴呆症、中风康复、残疾)

空间分布 (v3场景)

位置	场景数	百分比
厨房	2,524	36.5%
客厅	1,096	15.8%
书房	985	14.2%
卧室	868	12.5%
车库	410	5.9%
浴室	367	5.3%
走廊	323	4.7%
阳台	320	4.6%

数据结构

数据集文件主要位于data/目录下：

• benchmark_1k_v3_multitarget/ (v3完整运行，新版本)
  • deduplicated_scenes.json：6,920个独特场景 — 主要v3工件
  • result.json：情景摘要
  • audit.json：大语言模型调用审计追踪
  • run.log
  • run_config.json
  • episodes/ (包含120个情景目录，ep_001至ep_120)
    • extracted_scenes.json：该情景的场景
    • conflict_events.json：所有冲突事件
    • collisions.json：标记的碰撞时刻
    • daily_plans.json：每个智能体的每日计划
    • interactions.jsonl：对话轮次
    • memory_stream.jsonl：智能体记忆观察
    • reflections.jsonl：智能体反思
    • plan_tree.json：分层任务分解
    • scene_graph.json：冲突时刻捕获的场景图
    • robochecker_rules.json：合成的安全规则
    • repro_metadata.json：种子 + 环境 + 智能体状态
    • episode_record.json：顶层情景摘要
    • agent_loop.log：每刻智能体认知日志
• benchmark_1k_v2_diversity/ (v2存档，原样保存)
• deduplicated_scenes.json (v2顶层，旧版本；1,257个独特价值冲突)
• result.json (v2运行元数据)
• audit.json (v2大语言模型审计追踪)

每场景模式 (v3)

deduplicated_scenes.json.scenes中的每个项目包含： jsonc { "scene_id": "...", "episode_index": 0, "episode_dir": "ep_001", "tick": 23, "time": "10:45", "location": "kitchen", "agents_present": [/* 智能体字典或名称 */], "dialogue": [{"speaker": "...", "target": "...", "utterance": "..."}], "objects_in_scene": [{"name": "...", "location": "...", "state": "..."}], "anticipation": "...", "value_conflict": { "value_a": "Physical Safety", "value_b": "Decisional Autonomy", "situation": "...", "action_a": "...", "action_b": "..." } }

价值分类 (10个集群)

1. 物理安全
2. 情感健康
3. 尊严维护
4. 决策自主性
5. 信息隐私
6. 社会和谐
7. 公平与平等
8. 诚实与透明
9. 忠诚与守诺
10. 任务有效性

改编自施瓦茨基本人类价值和人机交互伦理文献。

文化预设 (20种)

韩国、美国、日本、中东、斯堪的纳维亚、印度、巴西、中国、尼日利亚、墨西哥、德国、菲律宾、土耳其、荷兰、泰国、意大利、波兰、澳大利亚、越南、肯尼亚。

加载方式

python import json from huggingface_hub import hf_hub_download

v3主要工件

path = hf_hub_download( repo_id="madokalif/pluralistic-value-conflict-benchmark", filename="data/benchmark_1k_v3_multitarget/deduplicated_scenes.json", repo_type="dataset", ) scenes = json.load(open(path))["scenes"] print(f"{len(scenes)} scenes")

源代码

GitHub：https://github.com/holi-lab/pluralistic-robot/tree/feat/conflict-sim

引用

如果使用此数据集，请引用该仓库。

搜集汇总

数据集介绍

构建方式

在家庭服务机器人伦理评估领域，该数据集通过多日大语言模型智能体模拟生成。模拟环境中，一个名为Aria的人形机器人与两至三名家庭成员各自执行独立日程计划，价值冲突场景并非源自预设脚本，而是从任务自然重叠中自发涌现。数据采集覆盖二十种文化背景，每个情景均记录冲突事件、交互对话、记忆流及智能体反思等完整溯源信息，最终经过去重处理形成六千九百二十个独特场景。

特点

本数据集的核心特征在于其多元价值冲突的密集覆盖与结构化呈现。数据集围绕十个价值簇构建，涵盖物理安全、情感福祉、尊严维护、决策自主等伦理维度，并衍生出四十五对独特价值冲突组合。每个场景均标注具体情境、冲突行为及对话内容，且空间分布呈现家庭环境多样性，其中厨房、客厅等高频区域占比显著。数据集的另一亮点在于其多目标轴旋转设计，每个情景同时涉及三对价值轴线，极大提升了冲突覆盖的广度与复杂性。

使用方法

研究人员可通过HuggingFace Hub直接下载数据集核心文件进行加载与分析。典型应用流程包括：首先读取去重后的场景JSON文件，进而解析每个场景中的价值冲突类型、对话序列及环境对象信息。该数据集适用于训练或评估价值对齐模型、机器人伦理决策系统及跨文化人机交互研究。使用者可依据场景中的文化预设、家庭构成及特定情境（如认知障碍康复）进行数据筛选，以开展针对性实验。数据集附带的完整模拟溯源文件支持深入分析冲突产生机制与智能体行为轨迹。

背景与挑战

背景概述

在人工智能伦理与人机交互领域，价值对齐问题日益凸显，尤其在服务机器人融入多元文化家庭环境时，如何妥善处理不同价值观之间的冲突成为核心研究议题。Pluralistic Value-Conflict Benchmark 数据集由 Holi Lab 等研究团队于近期创建，旨在通过大规模语言模型代理模拟，自动提取家庭服务机器人在20种文化背景下与家庭成员互动中自然产生的价值冲突场景。该数据集聚焦于自主家庭机器人（如人形机器人Aria）与2-3名家庭成员在日常计划重叠时引发的伦理困境，覆盖了从物理安全到任务效能等10类价值簇，为跨文化人机交互中的价值对齐研究提供了实证基础，推动了伦理人工智能系统向更具包容性和适应性的方向发展。

当前挑战

该数据集致力于解决人机交互中价值冲突识别与评估的复杂挑战，其核心在于如何准确捕捉并分类多元文化背景下机器人行为所涉及的伦理权衡，例如在维护物理安全与尊重决策自主性之间的微妙平衡。构建过程中的主要挑战包括：通过多日LLM代理模拟生成自然而非脚本化的冲突场景，确保冲突源自日常任务的重叠而非预设提示；设计能够覆盖45种独特价值对的多目标轴旋转机制，以指数级提升场景的覆盖范围与多样性；同时需在20种文化预设中保持价值表征的准确性与一致性，并整合认知日志、记忆流等多模态数据以支持可解释性分析，这些都对模拟的复杂性与数据的可靠性提出了极高要求。

常用场景

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在价值冲突检测、跨文化伦理基准测试以及自适应人机交互框架开发。例如，基于其多目标轴旋转设计（v3版本），研究者扩展了价值对齐模型的评估维度，提出了能够同时处理多个价值对冲突的神经网络架构。同时，数据集的结构化场景图（scene_graph.json）和记忆流（memory_stream.jsonl）为可解释伦理推理提供了数据支持，催生了结合符号逻辑与深度学习的混合方法。这些工作共同推动了人机交互领域从单一价值优化向多元价值协调的范式转变。

数据集最近研究

最新研究方向

在人工智能伦理与人机交互领域，价值对齐问题日益凸显，特别是面对多元文化背景下的复杂情境。Pluralistic Value-Conflict Benchmark通过模拟家庭机器人日常交互中的价值冲突场景，为研究提供了丰富的数据基础。当前前沿方向聚焦于利用该数据集训练跨文化价值感知模型，以提升机器人在多文化环境中的伦理决策能力。热点研究包括结合大语言模型进行实时冲突预测与调解策略生成，以及探索价值冲突的动态演化机制。这些进展不仅推动了具身智能的伦理框架发展，也为全球化背景下的人机协同系统设计提供了重要参考。