ReplicaMultiagent Plus

ReplicaMultiagent Plus是由多机构合作构建的用于评估协同高斯SLAM性能的基准数据集。该数据集规模扩展至包含4个智能体的长轨迹序列，并提供了精确的地面真实几何结构与语义标注，支持单目、RGB-D及语义多智能体SLAM的密集重建评估。数据通过合成与真实场景采集，旨在解决现有多智能体数据集中智能体数量有限、轨迹较短的问题，为协作式场景重建算法的几何一致性、光度一致性与语义理解提供全面验证平台。ReplicaMultiagent Plus is a benchmark dataset developed through multi-institutional collaborative efforts for evaluating the performance of collaborative Gaussian SLAM. This dataset has been scaled to include long trajectory sequences involving 4 agents, and provides precise ground-truth geometric structures and semantic annotations. It supports dense reconstruction evaluation for monocular, RGB-D, and semantic multi-agent SLAM systems. The dataset is collected from both synthetic and real-world scenarios, aiming to address the limitations of existing multi-agent datasets, which typically feature a limited number of agents and short trajectory lengths. It provides a comprehensive validation platform for geometric consistency, photometric consistency, and semantic understanding of collaborative scene reconstruction algorithms.

搜集汇总

数据集介绍

构建方式

ReplicaMultiagent Plus数据集基于Habitat-Sim平台对Replica场景进行重新渲染构建。为突破现有基准在智能体数量与轨迹长度上的局限，该数据集为每个场景生成最多四个智能体的长时程轨迹，由操作员通过游戏手柄以30Hz频率驱动智能体覆盖可导航区域，同时记录RGB、深度、表面法向及语义标签等多模态数据。智能体的起始位姿分布于不同房间以调控重叠程度，每段轨迹约包含1500个关键帧，并存储全局一致的相机位姿以支持确定性重渲染。

使用方法

研究人员可将该数据集作为多智能体稠密重建的标准化评测平台。使用时应依据论文中提供的轨迹划分与传感器模型，分别评估各智能体的绝对轨迹误差（ATE RMSE）以及融合后全局地图的新视角合成质量（PSNR、SSIM、LPIPS）。数据集内置的可配置重叠机制允许用户按需选择场景与智能体数量以复现不同协作难度下的实验，其全局位姿真值与语义标签亦可服务于几何一致性分析与语义建图研究。

背景与挑战

背景概述

ReplicaMultiagent Plus数据集由苏黎世联邦理工学院与利物浦大学等机构的研究人员在2025年联合创建，旨在填补多智能体协同SLAM领域中高质量基准测试的空白。该数据集在Habitat-Sim平台上对Replica场景进行重新渲染，支持多达四台智能体的长轨迹协同探索，并同步提供稠密深度、语义标签以及全局一致的网格真值。其核心研究问题在于评估仅依赖单目RGB输入的协同高斯泼溅SLAM系统的跟踪精度与重建逼真度，从而推动无需深度传感器的轻量化多机器人系统发展，对虚拟制作与沉浸式远程临场等应用具有重要影响力。

当前挑战

该数据集所面临的挑战主要来自两方面。第一，在领域问题层面，现有方法大多依赖RGB-D传感器以获取度量深度并简化智能体间对齐，而ReplicaMultiagent Plus要求仅凭单目RGB视频实现跨智能体的光度一致与几何一致重建，这需要同时处理尺度模糊、重叠区域未知以及高斯图冗余等难题。第二，在构建过程中，研究人员需手动操控四台智能体的轨迹以保证重叠程度的可控性，同时确保不同房间或走廊的均匀覆盖，并且要精确同步每台智能体的位姿真值与多模态输出，这增加了数据采集与标注的复杂度。

常用场景

经典使用场景

ReplicaMultiagent Plus数据集旨在为多智能体协同三维重建与视觉SLAM研究提供标准化的评测基准。在该领域中，研究者通常面临现有基准在智能体数量、轨迹长度、真实标注完备性等方面的局限。该数据集通过Habitat-Sim平台对Replica场景进行重渲染，生成最多四条智能体的长时程轨迹，并同步提供密集真实深度、全局网格及逐像素语义标签，从而支持多智能体单目、RGB-D乃至语义SLAM算法的全面评估。其核心使用场景聚焦于验证协同高斯泼溅SLAM系统在跨智能体尺度对齐、高保真渲染与融合一致性方面的性能，为推进轻量化、低成本视觉感知平台的协同建图能力奠定了坚实的实验基础。

解决学术问题

该数据集有效解决了多智能体协同SLAM研究中存在的关键学术难题，包括跨智能体轨迹重叠配置无法灵活调控、真实标注（如全局稠密网格与语义信息）缺失，以及智能体数量严重受限（多数数据集仅支持2-3个智能体）等问题。通过提供可配置的重叠度、完备的几何与语义真值，以及长达约1500个关键帧的四智能体轨迹，ReplicaMultiagent Plus使研究者能够系统性地评估单目条件下跨智能体Sim(3)尺度漂移校正、占优空间感知的冗余高斯剔除、以及联合光度几何优化的全局融合效果。该数据集的发布显著提升了多智能体SLAM评测的严谨性与可复现性，推动了从稀疏几何建图向可渲染、可编辑的协同三维实景重建范式的演进。

实际应用

在实际应用层面，ReplicaMultiagent Plus数据集所支撑的协同高斯泼溅SLAM技术正逐步向虚拟制作、沉浸式远程临场、多用户增强现实以及多机器人协作探索等场景渗透。例如，在虚拟制片中，多台轻量级RGB相机可依循该数据集验证的框架并行采集大型场景，无需昂贵深度传感器即可实时生成高保真数字孪生体。在多机器人协同方面，机载单目相机借助紧凑子图摘要与占优感知融合策略，能够以极低通信带宽完成跨机器人的一致性三维建图，从而适配无人机编队或地面机器人组的低功耗、轻量化部署需求。该数据集为上述应用提供了可靠的算法验证环境，加速了协同感知技术从实验室走向工业现场的转化。

数据集最近研究

最新研究方向

ReplicaMultiagent Plus数据集的提出标志着多智能体协同稠密重建基准测试迈入新阶段。该数据集通过Habitat-Sim平台重新渲染Replica场景，支持多达四个智能体的长轨迹协同，并提供完整的地面真值几何与语义标注，弥补了现有基准在智能体数量、轨迹长度与标注完备性上的关键空白。当前前沿研究聚焦于利用该基准评估纯单目RGB输入下的多智能体高斯溅射SLAM系统，MAGS-SLAM作为首个单目多智能体3DGS SLAM框架，在此数据集上验证了通过紧致子图摘要、Sim(3)位姿图优化与占用感知融合技术，无需深度传感器即可实现与RGB-D方法相匹敌甚至更优的跟踪精度和新视角合成质量。这一突破有望推动轻量化、低功耗机器人平台上的大规模数字孪生与沉浸式远程临场应用发展。

相关研究论文

• MAGS-SLAM: Monocular Multi-Agent Gaussian Splatting SLAM for Geometrically and Photometrically Consistent Reconstruction

  苏黎世联邦理工学院; 哈尔滨工程大学; 利物浦大学; 澳门大学; 渥太华大学; 武汉大学; 帝国理工学院 · 2026年