Discrim-Eval-Open

Discrim-Eval-Open是一个用于评估多智能体系统（MAS）中大型语言模型（LLMs）偏见的开放基准数据集。该数据集包含两种配置：explicit_prompts和implicit_prompts，分别对应不同的提示表达方式。每个配置的JSON文件包含场景（question_id）、三个语义对齐的提示变体（templates）以及结构化的人口统计信息（demographic_info，如年龄、性别、种族）。数据集旨在研究LLM和多智能体系统中的公平性、偏见测量和鲁棒性，不适用于高风险的自动化决策。数据集由ICLR 2026论文支持，并提供了完整的开源代码和数据仓库。

原始信息汇总

数据集概述：Discrim-Eval-Open

基本信息

• 数据集名称: Discrim-Eval-Open
• 发布状态: 官方开源基准数据集，对应ICLR 2026论文。
• 数据集地址: https://huggingface.co/datasets/weizhihao1/Discrim-Eval-Open
• 代码仓库: https://github.com/weizhihao1/MAS-Bias
• 论文链接: https://github.com/weizhihao1/MAS-Bias/blob/main/_ICLR26__Bias.pdf

研究背景与目的

• 核心研究问题: 评估大型语言模型系统从单智能体转向协作多智能体系统时，协作是减少偏见还是放大偏见。
• 关键发现: 偏见倾向于随着推理在智能体间传播而被放大，即使单个智能体在孤立状态下显得相对中立。
• 用途: 旨在用于LLM和多智能体系统中的公平性、偏见测量和鲁棒性研究。不适用于高风险自动化决策。

数据集内容与结构

配置与文件

• 配置1: explicit_prompts
  • 数据文件: data/explicit_prompts.json
• 配置2: implicit_prompts
  • 数据文件: data/implicit_prompts.json
• 数据分割: 两个配置均仅包含train分割。

数据结构

每个数据项包含一个场景，具有三个候选变体：

• question_id: 场景标识符。
• templates: 三个语义对齐的提示词变体。
• demographic_info: 三个变体对应的结构化人口统计属性，包括age（年龄）、gender（性别）、race（种族）。

数据格式示例

json { "question_id": 0, "templates": ["...", "...", "..."], "demographic_info": [ {"age": 50.0, "gender": "male", "race": "Black"}, {"age": 80.0, "gender": "female", "race": "Asian"}, {"age": 90.0, "gender": "non-binary", "race": "white"} ] }

• implicit_prompts与explicit_prompts的区别: 两者结构相同，区别在于人口统计线索在文本中的表达方式。

加载方式

使用Hugging Face Datasets库加载： python from datasets import load_dataset implicit_ds = load_dataset("weizhihao1/Discrim-Eval-Open", "implicit_prompts", split="train") explicit_ds = load_dataset("weizhihao1/Discrim-Eval-Open", "explicit_prompts", split="train")

引用信息

如果使用本数据集，请引用： bibtex @article{li2026agencybench, title={AgencyBench: Benchmarking the Frontiers of Autonomous Agents in 1M-Token Real-World Contexts}, author={Li, Keyu and Shi, Junhao and Xiao, Yang and Jiang, Mohan and Sun, Jie and Wu, Yunze and Xia, Shijie and Cai, Xiaojie and Xu, Tianze and Si, Weiye and others}, journal={arXiv preprint arXiv:2601.11044}, year={2026} }

搜集汇总

数据集介绍

构建方式

在人工智能伦理与公平性研究领域，Discrim-Eval-Open数据集通过精心设计的实验框架构建而成。该数据集包含两个核心配置：显式提示与隐式提示，每个配置均围绕多智能体系统中的偏见传播问题展开。构建过程基于真实世界的人口统计学属性，如年龄、性别与种族，为每个情境生成了三个语义对齐但人口属性不同的候选变体。数据以结构化JSON格式组织，确保了每个条目在保持情境一致性的同时，系统性地嵌入人口变量，从而为研究协作推理中的偏见动态提供了可控的实验基础。

使用方法

研究人员可通过Hugging Face平台便捷加载Discrim-Eval-Open数据集，分别调用implicit_prompts与explicit_prompts配置以获取相应数据。数据集主要用于多智能体系统与大型语言模型的公平性、偏见度量及鲁棒性研究，支持对偏见传播路径的定量与定性分析。典型应用包括评估不同协作架构下的偏见放大程度，或检验去偏技术的跨智能体有效性。使用者应遵循研究伦理，避免将数据集用于高风险自动化决策，并参考提供的代码库以复现或扩展相关实验。

背景与挑战

背景概述

随着大语言模型系统从单智能体架构向协作式多智能体系统演进，个体模型的价值观对齐虽日益完善，但系统层面的偏见动态却成为新兴研究焦点。Discrim-Eval-Open数据集由相关研究团队于2026年构建，并作为ICLR 2026会议的官方开放基准发布，其核心研究问题在于探究协作过程中偏见是得以消减还是被进一步放大。该数据集通过提供开放式、三路对比的提示模板，涵盖年龄、性别与种族等多维度人口统计属性，旨在系统评估多智能体交互中的偏见传播机制，为理解复杂人工智能系统的公平性提供了关键实证基础。

当前挑战

该数据集致力于解决多智能体系统中偏见评估与测量的核心挑战，即如何准确量化协作推理链中的偏见放大效应，并揭示个体中立性与系统偏见涌现之间的复杂关联。在构建过程中，研究团队面临如何设计语义对齐且包含隐性与显性人口统计线索的提示模板，以确保评估的严谨性与泛化能力；同时，需精心构建结构化的人口统计信息标注，以支持细粒度、可解释的偏见溯源分析，这些挑战共同塑造了数据集的科学价值与应用边界。

常用场景

经典使用场景

在人工智能伦理与公平性研究领域，Discrim-Eval-Open数据集为评估多智能体系统中的偏见传播机制提供了关键基准。该数据集通过设计包含显性与隐性人口统计线索的开放式三选一对比提示，使研究者能够系统分析协作推理过程中偏见的动态演变。经典应用场景包括在受控实验环境中，模拟多智能体对话链，以量化偏见在信息传递中的放大效应，从而揭示个体模型对齐与系统整体公平性之间的复杂关联。

解决学术问题

该数据集致力于解决大语言模型系统从单智能体向多智能体架构演进中的核心学术问题，即协作机制是否会无意中加剧社会偏见。它通过结构化的人口属性变量与语义对齐的提示变体，为测量偏见在智能体间的传播路径提供了可复现的实证基础。其意义在于突破了传统单模型偏见评估的局限，推动了系统级公平性研究范式的转变，为构建更稳健、可信的协作人工智能系统奠定了方法论基石。

实际应用

在实际应用层面，Discrim-Eval-Open为开发与部署多智能体系统提供了重要的风险评估工具。技术团队可借助该数据集对智能体协作流程进行压力测试，识别在客服对话、内容审核、协同决策等场景下可能出现的歧视性输出模式。这有助于在产品上线前实施针对性的去偏见干预，提升系统在社会敏感语境中的鲁棒性，并满足日益增长的算法透明与合规性要求。

数据集最近研究

最新研究方向

在大型语言模型系统从单智能体向多智能体协作范式演进的过程中，Discrim-Eval-Open数据集聚焦于一个核心的系统级公平性问题：协作机制是消弭还是放大了社会偏见？该数据集通过提供包含明确与隐式人口属性提示的三方对比评估框架，揭示了即使单个模型已进行对齐优化，偏见仍可能在多智能体的推理传播链中被显著放大。这一发现呼应了当前人工智能伦理领域的前沿关切，即系统层面的偏见评估与治理。相关研究正致力于剖析多智能体交互中的偏见动力学，探索能够抑制偏见级联的协作架构与评估协议，为构建更公平、鲁棒的下一代人工智能系统提供关键的基准与理论支撑。