rocket-science

该数据集由Kyutai等机构联合创建，专门用于多智能体世界模型的研究，聚焦于高度动态的物理交互环境。数据集包含长达1万小时的《火箭联盟》游戏对战视频，涵盖四名玩家的渲染画面、控制器操作流及特权游戏状态数据，为模型训练提供了丰富的多视角交互样本。数据采集通过强化学习策略在私人比赛中完成，确保了动作日志的精确性和大规模可行性，旨在解决复杂多智能体环境中动作归因与物理一致性建模的挑战，为可控仿真、多智能体训练及规划决策等应用奠定基础。This dataset was co-created by Kyutai and other institutions, specifically designed for research on multi-agent world models and focused on highly dynamic physical interaction environments. It contains 10,000 hours of competitive gameplay footage from Rocket League, including rendered frames, controller input streams, and privileged in-game state data for four-player matches, providing rich multi-view interaction samples for model training. The data was collected using reinforcement learning policies in private matches, ensuring the accuracy and large-scale feasibility of action logs. This dataset aims to address the challenges of action attribution and physical consistency modeling in complex multi-agent environments, laying a solid foundation for applications such as controllable simulation, multi-agent training, and planning and decision-making.

搜集汇总

数据集介绍

构建方式

在高度动态且物理交互复杂的多人环境中构建世界模型是一项严峻挑战，传统单智能体方法将其他参与者视为环境的一部分，难以准确归因场景变化。为此，我们构建了rocket-science数据集，旨在支持首个可交互的多人世界模型MIRA的训练。该数据集采集自《火箭联盟》2v2对战模式，利用公开的最高水平机器人策略Nexto进行自我对弈，在三个视觉风格各异的竞技场中生成了约10,000小时的游戏录像。每场比赛同步记录了四名玩家的第一人称视频流（720p，30帧/秒）、控制器动作序列以及底层物理状态，所有数据均通过自研BakkesMod插件精确对齐至帧边界，经过严格的筛选与处理后形成约83,000场高质量比赛、超过33万条独立视角记录的训练语料。

特点

rocket-science数据集的核心特点在于其多智能体交互的同步性与物理信息的完整性。与多数仅包含单一视角或粗糙动作标签的数据集不同，本数据集为每位玩家独立提供了高帧率游戏画面与细粒度的九键键盘动作标签，并额外记录了每120毫秒更新一次的完整物理游戏状态，包括球体及所有车辆的精确位姿、速度、旋转与碰撞状态。这使得训练世界模型时不仅能学习从像素到动作的映射，还能通过探针方法验证模型是否真正习得了动力学规律。此外，数据集中约83%的比赛为完全干净的四玩家无噪声对局，确保了训练信号的纯净性，同时保留了部分含随机噪声的变体以供鲁棒性研究。

使用方法

rocket-science数据集的使用方法灵活且面向多层级的研究需求。用户可首先利用每场比赛对应四位玩家的帧对齐视频片段与动作序列，训练潜空间编码器与条件扩散世界模型，通过流匹配与扩散强制等目标函数实现长时域稳定预测。其次，数据集提供的120赫兹可信物理状态可作为监督信号，用于评估生成轨迹的物理一致性或训练轻量级探针以衡量模型对动力学的理解。此外，研究者可根据需要筛选干净或含噪声的子集，针对指定竞技场或时间段进行迁移学习实验，也可通过独立的机器人动作层与引擎消费层校验输入输出的因果映射，是世界模型、多智能体强化学习及可控视频生成领域的重要基础资源。

背景与挑战

背景概述

由Kyutai研究团队与Epic Games合作，于2025年发布的rocket-science数据集，旨在推动多智能体世界模型的研究。该数据集聚焦于《火箭联盟》这一高度动态的物理交互环境，记录了超过10,000小时的2v2多人游戏对局，每个对局均包含四名玩家的同步第一人称视角视频、动作流及底层物理状态。其核心研究问题在于探索如何构建能够同时处理多个智能体动作序列的条件化世界模型，以准确预测复杂物理交互下的场景演化。该数据集的发布为多智能体学习、自博弈强化学习及人机交互等领域提供了重要的基准资源，显著推动了生成式世界模型从单智能体向多智能体拓展的研究进程。

当前挑战

该数据集所解决的领域核心挑战在于多智能体环境下的动态预测与因果归因。在《火箭联盟》这类高速、强耦合的物理交互场景中，世界模型不仅需准确渲染视觉内容，更必须学习将场景变化归因于正确的智能体动作，并在任意动作组合下保持多视角的一致性。此外，数据集的构建亦面临显著挑战：需在分布式虚拟机集群中稳定采集四名玩家同步的高频动作数据（15Hz）与物理状态（120Hz），并解决跨机时间对齐、网络延迟及录制中断等问题；同时，由同一机器人策略生成的数据集在行为多样性上存在局限性，难以完全覆盖人类玩家的多变的操作模式与策略风格。

常用场景

经典使用场景

在物理驱动的高动态多人交互环境中，rocket-science数据集为构建和评估多智能体世界模型提供了理想的测试床。其最经典的使用场景是作为条件化多玩家视频预测与生成的基础训练资源，研究者能够利用该数据集中同步记录的四名玩家的第一人称视角画面、动作指令流及底层物理状态，训练出能够联合预测所有参与者未来视角的潜空间扩散模型。该场景特别适用于验证模型是否能在复杂的刚性体碰撞与高速竞技条件下，正确归因场景变化至对应的玩家行为，并在任意组合的动作输入下保持跨视角的时空一致性。

实际应用

实际应用场景中，该数据集直接支撑了实时交互式游戏模拟引擎的构建。基于rocket-science训练的五亿参数潜扩散模型能够在一个Nvidia B200 GPU上以每秒二十帧的速率，实时生成由四位玩家同时控制的火箭联盟比赛画面，并保持各视角在物理事件（如进球、碰撞、摧毁）上的相互一致性。这项技术突破了传统游戏引擎依赖硬编码物理规则与渲染管线的桎梏，为下一代基于学习的可交互游戏世界引擎提供了范式，并已通过在线演示系统验证了其在真实人类玩家操控下的鲁棒性与响应能力。

衍生相关工作

该数据集直接衍生并验证了多项具有影响力的经典技术工作，包括：提出了首个面向高动态复杂物理环境的实时多玩家生成式世界模型MIRA，系统性研究了潜空间设计（基于冻结自监督特征提取器的表示编解码器）、生成目标函数（扩散强制与少步蒸馏）以及多玩家条件化方案（拼接视图与逐玩家动作嵌入）的核心设计选择。此外，该数据集还催生了动作可恢复率（ARR）这一评估可控性的新指标，以及用于探测模型物理理解能力的线性探针评估方法，这些工作为后续多智能体世界模型的可扩展性研究、涌现行为分析及长程稳定性评估奠定了方法论基础。