LOOPNAV

LOOPNAV数据集是为了促进世界模型在空间一致性方面的研究而构建的。该数据集在Minecraft开放世界环境中，通过采样150个不同的地点，收集了约250小时（2000万帧）的基于循环的导航视频。数据集遵循序列长度循序渐进的设计，使得模型能够在越来越复杂的导航轨迹上学习空间一致性。数据集包括147个不同的地点，每个轨迹都遵循循环探索模式，确保从不同的视角和时间重复访问相同的地点和布局。数据集还包括一个循序渐进的课程设计，允许模型从短期任务过渡到长期任务。此外，我们的数据收集流程可以轻松扩展到新的Minecraft环境和模块。数据集、基准和代码已开源，以支持未来的研究。

搜集汇总

数据集介绍

构建方式

LOOPNAV数据集构建于开放世界游戏Minecraft环境中，通过精心设计的循环导航轨迹来强化空间一致性约束。研究团队在147个不同地点采样，收集了约250小时（2000万帧）的循环导航视频数据，包含ABA和ABCA两种循环轨迹类型。数据采集采用课程学习设计，按5、15、30、50区块的探索半径分级，通过Mineflayer平台控制代理完成360度环境观察、A*路径规划及返回动作，确保同一地点被多视角重复访问。每个帧包含RGB图像、动作指令、空间坐标及导航目标等结构化信息，以20Hz频率同步记录。

特点

该数据集的核心特征体现在三个方面：首先，独特的循环轨迹设计（ABA/ABCA）强制模型学习长期空间记忆，解决了传统开放探索数据缺乏位置复现的问题；其次，环境多样性覆盖120个村庄、18种生物群系和9类建筑结构，视觉差异显著；最后，课程式难度分级支持从短程到长程导航的渐进式学习。数据经过严格净化，移除动态实体和UI干扰，聚焦纯粹的空间导航任务，为世界模型提供了评估空间一致性的理想基准。

使用方法

使用LOOPNAV需遵循探索-生成分离的评估范式：将循环轨迹前半段（如A→B）作为上下文输入，后半段（B→A）作为生成目标，通过FVD、LPIPS和SSIM指标量化空间一致性。数据集按6:1:1划分训练/验证/测试集，特别保留第20号村庄作为独立测试环境。研究建议采用记忆增强架构处理长序列，注意模型输入应包含位置坐标和动作指令以建立时空关联。对于新方法开发，可利用课程分级逐步提升导航半径，并通过可视化对比验证空间细节的再现精度。

背景与挑战

背景概述

LOOPNAV数据集由北京大学和MIT的研究团队于2025年提出，旨在解决世界模型中空间一致性的关键挑战。该数据集基于开放世界游戏Minecraft构建，包含147个独特地点的250小时循环导航视频（约2000万帧），采用课程式轨迹设计以支持渐进式学习。作为首个明确强化空间一致性约束的基准，LOOPNAV通过ABA/ABCA型闭环轨迹结构，推动记忆模块在长时序空间建模中的发展，对强化学习、自动驾驶等需要时空连贯性的领域具有重要价值。其创新性体现在将导航轨迹生成与空间重建解耦评估，为世界模型的可信度建立了新标准。

当前挑战

LOOPNAV面临双重挑战：在领域层面，现有世界模型受限于Transformer的短时记忆瓶颈，难以维持长轨迹（如60-70帧）的空间一致性，导致场景重构时出现结构矛盾；在构建层面，需平衡视觉可区分性（120种村庄/18种生物群落）与闭环轨迹的几何约束，同时解决Minecraft动态渲染导致的视角突变问题。基准测试显示，即使5格导航范围的简单任务，主流模型（Oasis、DIAMOND等）的FVD指标仍超2500，暴露出记忆模块设计的关键缺陷。

常用场景

经典使用场景

LOOPNAV数据集在空间一致性建模领域具有重要应用价值，其环状导航轨迹设计为世界模型提供了学习长时程空间记忆的基准平台。该数据集通过ABA和ABCA两种环状轨迹结构，强制模型在多次访问相同位置时保持空间表征的一致性，特别适用于评估记忆模块在视觉生成任务中的表现。

解决学术问题

该数据集解决了世界模型研究中长期存在的空间一致性保持难题。传统方法因受限于短时上下文窗口，难以处理数百帧的长时程导航任务。LOOPNAV通过结构化环状轨迹和课程化难度设计，为开发具有显式/隐式空间建模能力的记忆模块提供了验证基准，推动了模型在自主决策等下游任务的可靠性研究。

衍生相关工作

该数据集催生了多项关于记忆增强世界模型的研究，如基于神经图网络的显式空间建模方法、融合扩散模型的轨迹预测框架等。相关工作进一步拓展了在Minecraft环境中构建数字孪生体的技术路线，为Oasis、Mineworld等世界模型提供了专门的评估基准。