nyu-visionx/solaris-eval-datasets

Solaris评估数据集是通过SolarisEngine收集的，用于评估Minecraft中的多人世界模型Solaris。该数据集包含Minecraft中两个玩家的视频和动作数据，分辨率为720p，帧率为20fps。数据集包含7个子集，分别对应不同的评估场景：bothLookAwayEval（记忆：两个玩家看向别处并回头）、oneLooksAwayEval（基础：一个玩家看向别处并回头）、rotationEval（运动：一个玩家旋转其偏航角）、structureEval（建筑：一个玩家建造结构）、translationEval（运动：一个玩家左右前后移动）、turnToLookEval（一致性：两个玩家看向同一方向）、turnToLookOppositeEval（一致性：两个玩家看向相反方向）。该数据集也可用于评估任何多智能体动作条件视频模型。

Evaluation datasets collected via SolarisEngine to evaluate the Solaris multiplayer world model for Minecraft. The dataset contains videos and actions for two players in Minecraft at 720p and 20 fps. It includes 7 subsets: bothLookAwayEval (Memory: Both players look away and back), oneLooksAwayEval (Grounding: One player looks away and back), rotationEval (Movement: One player rotates its yaw), structureEval (Building: One player builds a structure), translationEval (Movement: One player moves left, right, forward, backward), turnToLookEval (Consistency: Two players look in the same direction), turnToLookOppositeEval (Consistency: Two players look in the opposite direction). You can also use it to benchmark any multi-agent action-conditioned video model.

搜集汇总

数据集介绍

构建方式

Solaris Eval Datasets依托于SolarisEngine平台，为多玩家Minecraft世界模型Solaris的评估而精心构建。该数据集通过采集两名玩家在游戏环境中的交互行为生成，涵盖了720p分辨率、20帧每秒的高保真视频片段及对应的动作序列。其构建过程注重场景的多样性与可控性，包括记忆、定位、运动、建造和一致性等多个维度，具体如双方互相注视后移开、单人旋转视角以观察玩家反应、以及玩家同步或反向注视等情境。这些数据集的设计旨在系统性地测试多智能体动作条件视频模型在不同复杂度下的表现，从而为领域提供了标准化基准。

特点

该数据集的核心特点在于其高度结构化和针对多智能体交互的专项设计。每个子数据集，如bothLookAwayEval、oneLooksAwayEval、rotationEval等，均对应论文中特定的评估任务（如记忆、接地、运动、建造和一致性），使得模型性能可以细粒度地逐项度量。数据集不仅捕捉了玩家的基本动作（如移动和旋转），还包含了复杂的社交性行为（如共同注视或反向注视），这为研究多智能体环境中的场景理解与协调机制提供了宝贵资源。此外，其高清视频与精确动作标签的结合，为后续研究者复现与对比实验奠定了坚实基础。

使用方法

使用Solaris Eval Datasets时，用户首先需从HuggingFace页面下载各子文件夹的数据。官方推荐依托Solaris代码仓库进行模型推理与评估，具体步骤已在项目GitHub上详细阐述。研究者亦可利用此数据集对任意多智能体动作条件视频模型进行基准测试，只需加载视频和双玩家动作数据，并依据预设的场景（如玩家同步转头或建造结构）来检验模型预测的准确性。对于希望深入分析模型行为的人员，数据集提供了清晰的标签和场景划分，便于在实验中进行分层对比与消融研究。

背景与挑战

背景概述

在多智能体协作与交互建模领域，以Minecraft为代表的开放式环境为研究世界模型提供了理想的试验场。2025年，由Georgy Savva、Oscar Michel等来自纽约大学等机构的研究人员创建的Solaris项目，致力于开发多玩家视频世界模型，以捕捉复杂动态场景中的动作与视觉一致性。Solaris Eval Datasets作为该项目的评估基准，包含7个精心设计的子数据集，覆盖记忆、地面定位、运动、建筑构建及一致性等核心能力。该数据集以720p分辨率和20帧每秒的高质量视频记录两名玩家的交互行为，为多智能体动作条件视频模型提供了标准化的评估框架，在推动具身智能与多代理系统研究方面具有显著影响力。

当前挑战

该数据集所解决的领域问题在于评估世界模型对多玩家协作与动态环境理解的泛化能力，包括记忆（如同帧回溯）、动作定位（如角色旋转与移动）、以及双向视角一致性（如同时转向或反向）等复杂场景的建模。构建过程中面临的挑战包括：在Minecraft环境中精确控制并同步两名玩家的动作序列，确保高保真视频与动作标签的严格对齐；设计涵盖多样化交互模式的评估任务（如建筑物生成、视角协调），以全面检验模型对长期依赖和空间关系的理解；此外，还需克服实时渲染与数据处理的高计算开销，保证数据集在720p高分辨率下的可复现性与标准化。

常用场景

经典使用场景

在《我的世界》这一开放世界环境中，多智能体协同行动与视觉预测是极具挑战的研究课题。solaris-eval-datasets专为评估多智能体世界模型而设计，其经典使用场景涵盖记忆、定位、运动、建造与一致性五大维度。例如，在Memory子集中，两名玩家先后移开视线再转回，用以检验模型对遮挡与长期依赖的恢复能力；在Grounding子集中，一名玩家短暂脱离视野，测试模型对视线对准的理解；Building子集则通过一名玩家搭建结构，考察模型对物体生成与空间关系的建模。这些场景共同构成了对多智能体行动条件视频模型的全面基准测试，推动复杂交互环境下视觉预测系统的标准化评估。

解决学术问题

该数据集直指多智能体联合行为建模中的核心学术难题——如何在只有部分观测的条件下准确预测视频序列的未来帧与智能体动作的耦合关系。传统视频预测数据集多聚焦于单智能体或刚性场景，忽略了多玩家协同中的交互记忆与意图对齐。solaris-eval-datasets通过Consistency子集（如turnToLookEval与turnToLookOppositeEval）量化模型在两名玩家视线协调性上的预测能力，为研究多智能体一致性与博弈均衡提供了可复现的评测基准。其意义在于将视频预测从被动观察推进到主动交互层面，为构建具备长期记忆与推理能力的虚拟世界模型奠定了基础。

衍生相关工作

solaris-eval-datasets催生了一系列围绕多智能体世界模型的前沿工作。其核心依托的Solaris论文提出了首个多人游戏世界模型架构，利用时空Transformer对双玩家动作与视频联合建模。后续工作进一步延伸至零样本迁移至其他沙盒游戏、基于扩散模型的多智能体未来帧生成，以及将评估协议扩展到三个以上智能体的统一框架。同时，该数据集启发了社区开发针对不同动作粒度（如跳跃、放置方块）的细粒度评测插件，并催生了将世界模型与强化学习策略耦合的闭环仿真平台，推动了《我的世界》中长时程任务规划的基准发展。