Awesome-LFMs-Play-Games

这是一个关于大型基础模型（如LLMs、VLMs、VLAs等）作为游戏玩家的数据集资源集合，涵盖游戏环境中的数据集、模型、工具和基准测试，专注于收集和索引相关研究论文和资源，主题包括从简单到复杂环境交互的演进。This is a collection of dataset resources centered on large foundation models (e.g., LLMs, VLMs, VLAs, etc.) serving as game players. It covers datasets, models, tools and benchmarks within gaming environments, and focuses on collecting and indexing relevant research papers and resources, with topics encompassing the evolution of environmental interactions ranging from simple to complex scenarios.

原始信息汇总

项目概述

该仓库是一个关于大型基础模型作为游戏玩家的论文与资源精选列表，涵盖模型、框架、数据集和基准测试四大支柱。列表主要收录2025年以来的研究工作，并保留了少数过往的代表性经典工作。

核心内容

🤖 模型

• 涵盖方法：监督微调、强化学习、持续预训练。
• 技术与应用：涵盖世界模型（如Matrix-Game、WorldCam）、视觉-语言-动作模型、GUI智能体、对抗性决策、多智能体协作等。
• 代表工作：包括《NitroGen》、《SIMA 2》、《Game-TARS》、《UI-TARS-2》等。

🔧 框架

• 涵盖方法：提示工程、上下文学习、检索增强生成、智能体框架、多智能体协作。
• 技术与应用：视频反思、代码生成博弈、基于文本的环境推理、GUI智能体基准测试。
• 代表工作：包括《GameVerse》、《ProxyWar》、《FlashAdventure》等。

💾 数据集

• 当前README文件中未包含数据集的具体条目，相关内容可能位于单独的页面或未来的更新中。

📊 基准测试

• 当前README文件中未包含基准测试的具体条目，相关内容可能位于单独的页面或未来的更新中。

其他信息

• 调查综述：包含一篇名为《Towards Generalist Game Players: A Survey of Foundation Models in the Multiverse of Games》的综述论文。
• 挑战与未来方向：README中设有独立章节，但具体内容未在提供的片段中展示。
• 贡献指南：鼓励提交PR以扩充列表。

搜集汇总

数据集介绍

构建方式

在游戏人工智能的广阔星图中，通用游戏智能体（Generalist Game Players）的构建正成为基础模型研究的前沿。Awesome-LFMs-Play-Games数据集以系统性文献综述的方式，精心汇聚了自2022年以来，大型基础模型（涵盖LLMs、VLMs、VLAs、VAs、WMs及WAMs）作为游戏玩家的核心研究成果。该数据集通过梳理从特定简单环境到复杂通用环境交互的演进脉络，构建了涵盖模型、工具链、数据集与基准测试四大支柱的全面知识图谱。其构建过程严格遵循学术规范，收录了来自Nature、ICML、NeurIPS等顶级会议与期刊的代表性工作，并特别聚焦于2025年后的前沿探索，同时保留了少数影响深远的经典之作。

特点

该数据集展现出鲜明的层次化与结构化特征。在模型维度上，它系统性地收录了基于监督微调、强化学习、预训练等多种范式的游戏智能体，涵盖了从Minecraft探索到象棋对弈、从扑克博弈到GUI交互的多元游戏场景。工具链部分则聚焦于提示工程、上下文学习与多智能体协作等轻量化方法。尤为突出的是，数据集以时间线为轴，清晰勾勒出从单一任务智能体向跨游戏、跨世界通用智能体演进的轨迹，并特别强调了世界模型、视觉-语言-行动模型等新兴范式的崛起。其分类体系严谨，关键词标注精准，为研究者提供了透视该领域技术跃迁的棱镜。

使用方法

使用者可依据研究兴趣，通过数据集精心设计的分类目录进行精准导航。若关注模型训练，可直接查阅Model部分，该部分按时间倒序排列，并标注了每篇工作的核心关键词与技术路线。对于希望快速部署游戏的开发者，Harness部分提供了提示工程与智能体框架的成熟方案。数据集还包含Benchmark与Survey板块，便于进行横向性能对比与领域全景认知。每个条目均附有论文链接与可复现代码仓库，支持从理论到实践的端到端探索。这一结构化的资源库，不仅服务于学术研究，也为工业界构建通用游戏智能体提供了宝贵的参考蓝图。

背景与挑战

背景概述

在人工智能领域，赋予大型基础模型（如大语言模型、视觉语言模型等）以通用游戏玩家能力，已成为通向通用人工智能的一条重要路径。该数据集由研究社区于2025年系统构建，旨在梳理和汇总利用基础模型作为游戏玩家的前沿工作。其核心研究问题聚焦于如何使模型从特定、简单的环境交互，逐步演进至复杂、通用的游戏世界操作。该资源的创建，为跨领域研究者提供了关于模型、数据集、工具链与基准测试四大支柱的全面概览，对推动通用游戏智能体的发展具有显著的学术影响力。

当前挑战

该领域面临的核心挑战在于构建能够跨越多种游戏环境的通用智能体。具体而言，模型需克服从单一游戏（如《我的世界》）到多游戏、多模态环境（如3D开放世界、策略博弈）的泛化难题。在构建过程中，研究人员遭遇了数据获取与标注的瓶颈，例如如何高效收集跨游戏、跨平台的行为克隆数据，以及如何设计统一的动作空间以兼容键盘、鼠标等异构输入。此外，实时交互中的长时记忆保持、因果推理能力以及多智能体协作策略的优化，亦是亟待突破的技术壁垒。

常用场景

经典使用场景

该数据集聚焦于大型基础模型在游戏环境中的泛化能力，其经典使用场景在于评估和训练模型在多样化虚拟世界中的交互与决策能力。通过整合从简单环境（如Atari）到复杂开放世界（如Minecraft）的多种游戏平台，研究者得以系统性地检验模型在视觉感知、语言理解、动作规划及长期记忆等方面的综合表现。这一场景不仅涵盖了经典的强化学习任务，还引入了视频生成、世界模型构建等前沿范式，为探索通用游戏智能体提供了统一的实验框架。

衍生相关工作

该数据集衍生了一系列开创性工作，涵盖了世界模型、多智能体协作与语言-动作联合建模等方向。代表性工作包括Matrix-Game系列，其提出了实时流式交互世界模型，实现了长时序记忆与高保真视频生成；SIMA 2则展示了跨虚拟世界的通用具身智能体。此外，Game-RL与Think in Games等工作利用游戏数据增强视觉语言模型的推理能力，而Solaris与PAN等模型则探索了多人协作与长时间跨度的世界模拟。这些研究共同推动了从单一任务到通用游戏智能体的技术演进，并为基础模型在复杂环境中的部署奠定了方法论基础。

数据集最近研究

最新研究方向

在通用游戏智能体领域，大型基础模型的最新研究正从单一环境交互迈向多世界泛化与实时沉浸式体验的深度融合。基于该数据集收录的前沿工作，当前方向聚焦于三大核心维度：一是世界模型的实时交互与长程记忆构建，如Matrix-Game 3.0与Solaris通过分布匹配蒸馏与跨玩家一致性建模，实现了720p分辨率的流式生成与多人虚拟世界协同；二是强化学习与因果推理的深度耦合，例如NitroGen与Scaling Behavior Cloning工作揭示了行为克隆规模扩展对因果推理能力的涌现机制，而Game-RL则通过可验证奖励合成多模态数据，显著提升了视觉语言模型的泛化推理水平；三是多智能体协作与战略通信的迭代优化，如MARSHAL与Stronger-MAS利用自对弈与群体相对策略优化，在狼人杀等复杂社会推理游戏中实现了超越人类水平的协作策略。这些突破不仅推动了通用游戏玩家从概念验证走向实际部署，更在Nature等顶刊上展示了世界模型在游戏创意构思中的变革性力量，为构建具备真正开放世界理解与交互能力的通用智能体奠定了坚实基础。