LLMafia

LLMafia是一个多人游戏数据集，其中包含一个异步大型语言模型（LLM）代理与人类玩家一起玩的mafia游戏。数据集由21场比赛组成，每场比赛包含7至12名玩家，其中一名玩家是LLM代理。游戏中的沟通是文本形式的，数据集记录了所有玩家的消息、游戏管理信息、元数据和结果。这个数据集旨在研究异步通信中LLM代理的表现。

原始信息汇总

LLMafia - 异步LLM代理数据集概述

数据集基本信息

• 许可证: MIT
• 论文: arXiv:2506.05309
• 语言: 英语 (en)
• 任务类别: 文本生成、文本分类、文本到文本生成
• 标签: 自然、代理、人类、游戏、黑手党、多代理、人类-LLM交互、异步
• 规模类别: 小于1K样本 (n<1K)

数据集描述

LLMafia数据集记录了异步LLM代理与多名人类玩家共同参与《黑手党》游戏的交互数据。该代理包含两个模块：

1. 调度器: 决定何时发送消息
2. 生成器: 生成消息内容

游戏背景

• 游戏类型: 社交推理游戏《黑手党》
• 角色分配: 玩家秘密分为黑手党或旁观者
• 游戏流程:
  • 白天阶段: 全体讨论并投票淘汰玩家
  • 夜晚阶段: 仅黑手党互动并选择淘汰对象
• 胜利条件:
  • 黑手党目标: 人数超过旁观者
  • 旁观者目标: 淘汰所有黑手党

数据集统计

指标	数值
总游戏场次	21
总消息数	2558
LLM代理发送消息数	211
场均消息数	121.81
LLM代理场均消息数	10.05
场均玩家数	7.86
场均昼夜阶段数	4.86

文件结构

每个游戏子目录包含以下文件：

• config.json: 游戏配置
• *_chat.txt: 玩家消息记录
• *_status.txt: 玩家最终状态
• *_survey.txt: 人类玩家对LLM代理的反馈
• *_log.txt: LLM代理原始日志
• *_vote.txt: 玩家投票记录
• player_names.txt: 玩家名单
• mafia_names.txt: 黑手党名单
• game_start_time.txt: 游戏开始时间
• phase_status.txt: 游戏结束时的当前阶段
• public_*_chat.txt: 各阶段公开聊天记录
• remaining_players.txt: 存活玩家名单
• who_wins.txt: 获胜队伍

相关资源

• 项目页面: https://niveck.github.io/Time-to-Talk/
• 论文: https://arxiv.org/abs/2506.05309
• 代码仓库: https://github.com/niveck/LLMafia

引用格式

bibtex @misc{eckhaus2025timetalkllmagents, title={Time to Talk: LLM Agents for Asynchronous Group Communication in Mafia Games}, author={Niv Eckhaus and Uri Berger and Gabriel Stanovsky}, year={2025}, eprint={2506.05309}, archivePrefix={arXiv}, primaryClass={cs.MA}, url={https://arxiv.org/abs/2506.05309}, }

联系方式

[e-mail]

搜集汇总

数据集介绍

构建方式

LLMafia数据集通过精心设计的异步多智能体交互实验构建而成，研究团队组织了21场由人类玩家与LLM智能体共同参与的《黑手党》社交推理游戏。数据采集过程采用模块化架构，智能体由调度器（决定发言时机）和生成器（构建消息内容）组成，通过实时记录游戏配置、玩家对话、投票记录等结构化数据，形成包含2558条消息的语料库。每场游戏均保存了完整的会话日志、角色配置和胜负结果，并采用匿名化处理确保隐私安全。

特点

该数据集的核心价值在于其独特的异步交互特性与多模态游戏场景的结合。作为首个记录LLM智能体与人类玩家异步博弈过程的数据集，它完整保留了时间戳信息、角色身份和会话上下文，为研究智能体的时序决策能力提供了丰富素材。数据呈现典型的社交推理特征，包含策略性对话、团队协作与对抗元素，智能体的发言频率（平均每场10.05条）与人类玩家保持相近水平。游戏配置的多样性（7-12名玩家、2-3名黑手党角色）进一步增强了数据的可扩展性和研究深度。

使用方法

研究者可通过解析游戏目录下的结构化文件展开多维度分析。config.json提供游戏参数设置，*_chat.txt记录玩家对话时序，*_vote.txt保存投票行为数据。建议结合公开的白昼/黑夜聊天记录分析智能体在不同阶段的策略差异，利用状态日志评估其游戏表现。数据集特别适用于研究异步通信模型、社交智能体行为模拟等方向，配套的调研文件（*_survey.txt）还可支持人机交互体验的定性研究。使用时应关注游戏阶段转换（平均4.86个昼夜周期）对对话策略的影响，并参考论文中的基准分析方法。

背景与挑战

背景概述

LLMafia数据集由Niv Eckhaus、Uri Berger和Gabriel Stanovsky等研究人员于2025年创建，旨在探索大型语言模型（LLM）在异步群组通信中的应用。该数据集以社交推理游戏《Mafia》为背景，记录了人类玩家与LLM智能体之间的交互过程。研究团队来自耶路撒冷希伯来大学等机构，核心研究问题聚焦于LLM智能体在异步环境中如何决策发言时机及内容。这一创新性工作为LLM在复杂社交动态中的集成提供了重要参考，对团队协作、教育环境等领域的智能体开发具有启发意义。

当前挑战

LLMafia数据集面临多重挑战。在领域问题层面，需解决异步群组通信中LLM智能体的时序决策难题，包括发言时机的精准判断与内容生成的协调。构建过程中的挑战体现在：游戏环境的动态复杂性要求智能体实时适应多变的社交策略；人类玩家行为的不可预测性增加了数据采集的难度；游戏规则的严格框架对智能体的决策逻辑提出了更高要求。此外，确保LLM智能体在保持游戏策略有效性的同时自然融入人类社交互动，也是数据集构建的关键挑战。

常用场景

经典使用场景

在异步多智能体交互研究中，LLMafia数据集为探索大型语言模型在复杂社交游戏中的行为模式提供了独特平台。该数据集记录了人类玩家与LLM智能体在《黑手党》游戏中的完整对话过程，研究者可通过分析时间戳、角色身份和发言策略，深入理解智能体在非结构化对话中的决策机制。游戏机制天然形成的对抗与合作场景，为研究多智能体系统中的信任建立、策略欺骗和群体决策等核心问题提供了理想实验环境。

衍生相关工作

该数据集已催生多项关于异步智能体行为建模的创新研究。部分学者扩展其框架至议会辩论仿真，开发出具有议程控制能力的政治模拟器。另有研究结合博弈论改良发言调度算法，使智能体在拍卖谈判等经济场景中展现更优时序策略。最近的工作则尝试将黑手党游戏中的角色隐藏机制应用于网络安全领域，训练检测恶意聊天机器人的新型分类器。这些衍生研究持续拓展着异步人机交互的理论边界。

数据集最近研究

最新研究方向

在自然语言处理领域，LLMafia数据集为研究异步多智能体交互提供了独特视角。该数据集聚焦于大型语言模型在社交推理游戏《黑手党》中的异步决策行为，探索了智能体在无固定轮次限制的群体对话中如何动态决定发言时机与内容。当前前沿研究主要围绕三个方向展开：一是基于调度器-生成器双模块架构的异步通信机制优化，旨在提升智能体在复杂社交场景中的适应性；二是通过游戏胜负作为代理指标，量化评估语言模型在策略性对话中的表现；三是分析人类与AI混合群体中的行为模式差异，为智能体融入真实社交环境提供理论支持。该研究对教育协作、远程会议等异步群体交互场景具有重要启示意义，推动了语言模型从封闭式对话向开放式社交系统的跨越。