SocialMaze
收藏资源简介：
SocialMaze是一个旨在评估大型语言模型（LLMs）社交推理能力的新基准数据集。该数据集由三个核心挑战组成：深度推理、动态交互和信息不确定性，并提供六个多样化的任务，涵盖社交推理游戏、日常生活交互和数字社区平台。数据集共包含64000条数据，通过自动化和人工验证确保数据质量，旨在解决LLMs在社交推理任务中的能力评估问题。
SocialMaze is a novel benchmark dataset designed to evaluate the social reasoning capabilities of Large Language Models (LLMs). This dataset consists of three core challenges: Deep Reasoning, Dynamic Interaction, and Information Uncertainty, and includes six diverse tasks covering social reasoning games, daily life interactions, and digital community platforms. The dataset contains a total of 64,000 instances, with data quality ensured through automated and manual validation, aiming to address the problem of evaluating LLMs' capabilities in social reasoning tasks.
SocialMaze Benchmark 数据集概述
数据集基本信息
- 语言：英语 (en)
- 许可证：CC-BY-4.0
- 标签：社会推理、大语言模型、基准测试、问答、逻辑推理、心智理论
- 任务类别：问答
- 规模类别：1M<n<10M
数据集结构
数据字段
system_prompt(string)：提供游戏背景、规则和LLM指令的系统提示。prompt(string)：用户提示，详细描述游戏进程，包括所有玩家在各轮次的陈述，并提出两个关键问题（识别罪犯和玩家1的真实角色）。answer(string)：正确答案，指定真正的罪犯和玩家1的实际角色。reasoning_process(string)：算法生成的逐步推理链，逻辑推导出正确答案。round 1(string)：第一轮所有玩家陈述的汇总字符串。round 2(string)：第二轮所有玩家陈述的汇总字符串。round 3(string)：第三轮所有玩家陈述的汇总字符串。
数据分割
easy分割：包含6个玩家的场景（3名调查员、1名罪犯、1名谣言传播者、1名疯子）。hard分割：包含10个玩家的场景（5名调查员、1名罪犯、2名谣言传播者、2名疯子）。
玩家1角色分布
- 调查员：3%
- 罪犯：2%
- 谣言传播者：60%
- 疯子：35%
使用方法
- 通过提供
system_prompt和prompt字段直接评估模型。 - 生成的响应可以与
answer字段进行比较以评估性能。 reasoning_process字段可用于错误分析、开发推理策略或作为训练数据。
任务描述：隐藏角色推理
玩家角色
- 调查员：总是说真话。
- 罪犯：可以选择说谎或说真话，目标是保持不被发现。
- 谣言传播者：认为自己是调查员，但关于其他玩家的陈述随机为真或假。
- 疯子：认为自己是罪犯，但关于其他玩家的陈述随机为真或假。
游戏目标
- 识别真正的罪犯。
- 推断玩家1的真实角色。
引用
bibtex @article{xu2025socialmaze, title={SocialMaze: A Benchmark for Evaluating Social Reasoning in Large Language Models}, author={Xu, Zixiang and Wang, Yanbo and Huang, Yue and Ye, Jiayi and Zhuang, Haomin and Song, Zirui and Gao, Lang and Wang, Chenxi and Chen, Zhaorun and Zhou, Yujun and Li, Sixian and Pan, Wang and Zhao, Yue and Zhao, Jieyu and Zhang, Xiangliang and Chen, Xiuying}, year={2025}, note={Under review} }
- 1SocialMaze: A Benchmark for Evaluating Social Reasoning in Large Language ModelsMohamed bin Zayed University of Artificial Intelligence (MBZUAI), University of Notre Dame, University of Chicago, University of Michigan, Microsoft, University of Southern California · 2025年
