M3arsSynth

M3arsSynth数据集是由北京交通大学、德克萨斯大学奥斯汀分校等机构共同创建的多模态火星数据集，包含超过1万条视频、深度图、法线图和文本描述。该数据集从NASA的行星数据系统获取真实火星导航图像，并利用几何基础模型进行3D重建，生成高保真度的多视角3D视频序列。M3arsSynth数据集旨在为火星场景生成和模拟提供支持，用于任务演练和机器人导航等应用。

The M3arsSynth dataset is a multimodal Mars dataset jointly created by institutions including Beijing Jiaotong University, The University of Texas at Austin, and others. It contains over 10,000 multimodal samples, each including a video, a depth map, a normal map and a text description. This dataset acquires real Mars navigation images from NASA’s Planetary Data System, and leverages geometric foundation models to conduct 3D reconstruction, thereby generating high-fidelity multi-view 3D video sequences. The M3arsSynth dataset is designed to support Mars scene generation and simulation, and can be applied to scenarios such as mission rehearsal and robotic navigation.

原始信息汇总

Martian World Models : Controllable Video Synthesis with Physically Accurate 3D Reconstructions

数据集概述

• 目标：合成逼真的火星景观视频，用于任务演练和机器人模拟。
• 挑战：高质量火星数据稀缺，火星与地球图像之间存在显著领域差距。
• 解决方案：
  • M3arsSynth引擎：覆盖广泛火星地形和采集日期，生成物理精确的3D表面模型（米级分辨率）。
  • MarsGen模型：基于M3arsSynth数据微调，支持通过初始图像帧、相机轨迹或文本提示生成视频。

方法概述

1. 数据构建：
   • 使用度量感知基础模型处理立体图像对。
   • 通过Perspective-n-Point (PnP)问题重建米级3D火星场景。
2. 视频生成：
   • 从3D场景渲染视频帧，结合文本提示和编码相机轨迹。
   • 基于Video Diffusion Transformer合成可控的火星视频序列。

关键优势

• 火星专用性：针对火星数据稀缺和领域差距优化，视觉保真度和3D结构一致性优于地球数据训练的模型。
• 高保真3D数据基础：M3arsSynth从NASA PDS立体图像重建物理精确的3D环境。
• 可控视频合成：MarsGen支持通过初始帧、相机轨迹或文本提示生成多样化的火星视频数据。

机构贡献

• 参与机构：北京交通大学、德克萨斯大学奥斯汀分校、香港科技大学、斯坦福大学、厦门大学、石溪大学、南加州大学、NVIDIA。
• 项目负责人：Zhiwen Fan（†标记）。

搜集汇总

数据集介绍

构建方式

M3arsSynth数据集的构建依托于NASA行星数据系统（PDS）提供的火星立体导航图像，通过多阶段处理流程实现高质量数据生成。首先，采用自动化过滤管道剔除低分辨率、灰度图像及冗余内容，确保数据质量。随后，利用几何基础模型进行相机标定和密集3D几何初始化，通过PnP优化和深度重缩放增强几何一致性。最终，基于3D高斯泼溅技术进行场景建模，结合双边网格处理光照差异，生成包含视频、深度/法线图及文本描述的多模态数据集。

使用方法

该数据集支持火星场景生成与机器人导航仿真研究，用户可通过加载预定义相机轨迹或自定义路径渲染新视角视频。文本提示与初始帧可作为条件输入MarsGen模型，生成3D一致的可控视频序列。评估时采用2D翘曲误差量化几何一致性，包括自重投影和跨视角重投影损失计算。数据集按场景-序列层级组织，支持时空对齐的多模态数据联合分析，适用于扩散模型微调、神经辐射场重建等任务。

背景与挑战

背景概述

M3arsSynth数据集由来自BJTU、UT Austin、HKUST、Stanford University等多个知名研究机构的团队于2025年创建，旨在解决火星场景视频合成的关键问题。该数据集基于NASA行星数据系统（PDS）提供的火星立体导航图像，通过先进的3D重建技术生成高保真多视角视频序列。M3arsSynth不仅填补了火星高质量视觉数据的空白，还为火星任务演练和机器人导航模拟提供了重要支持，显著推动了空间探索领域的研究进展。

当前挑战

M3arsSynth数据集面临的主要挑战包括：1) 领域问题的挑战：火星与地球图像存在显著的领域差距，现有基于地球数据训练的模型难以泛化到火星场景；2) 构建过程的挑战：火星立体图像稀疏且存在光度不一致性，3D重建精度不足，导致几何模型质量受限。此外，数据采集受星际带宽限制和操作约束的影响，进一步增加了构建高质量数据集的难度。

常用场景

经典使用场景

M3arsSynth数据集在火星地形模拟和机器人导航研究中扮演着核心角色。通过整合NASA火星探测器的立体导航图像，该数据集能够生成高保真的多模态火星环境视频序列，为火星任务演练和自主导航系统开发提供了关键的数据支持。其独特的3D重建技术使得研究人员能够在虚拟环境中精确模拟火星表面的复杂地形，从而优化探测器的路径规划和避障算法。

解决学术问题

M3arsSynth数据集有效解决了火星研究中高质量数据稀缺和跨域泛化难题。通过几何基础模型的强大泛化能力，该数据集能够从稀疏且光度不一致的火星立体图像中重建出物理精确的3D表面模型，填补了火星场景生成和仿真领域的空白。其提供的深度图、法线图和文本描述等多模态数据，为火星地形理解、3D一致性视频合成等前沿研究提供了坚实的基础。

实际应用

在实际应用层面，M3arsSynth数据集已成功应用于火星探测任务的多个关键环节。NASA等航天机构利用该数据集进行任务预演，通过生成可控的火星地形视频来测试探测器的导航系统。此外，该数据集还为火星地质研究提供了丰富的视觉素材，帮助科学家更直观地分析火星表面的形态特征和演化历史。

数据集最近研究

最新研究方向

近年来，M3arsSynth数据集在火星场景模拟与导航领域的研究方向主要集中在多模态数据融合与可控视频生成技术的突破上。该数据集通过整合NASA火星车立体导航图像，构建了包含视频序列、深度/法线图及文本描述的多模态资源，为火星地形的高保真三维重建提供了关键支持。前沿研究聚焦于利用几何基础模型解决稀疏视图覆盖和光度不一致性问题，实现了超过10K个物理精确的三维火星表面模型生成。火星探测任务中的自主导航与操作演练是当前热点，M3arsSynth通过MarsGen视频生成器实现了从单视图输入到多视角三维一致视频序列的可控合成，显著超越了基于地球数据训练的模型性能。这一进展不仅提升了火星任务仿真的真实性与可控性，也为深空探测的机器人视觉导航算法开发提供了重要基准。

相关研究论文

• Martian World Models: Controllable Video Synthesis with Physically Accurate 3D Reconstructions

  北京交通大学, 德克萨斯大学奥斯汀分校, 香港科技大学, 斯坦福大学, 西南大学, 南加州大学, 美国南加州大学, 英伟达 · 2025年