Mars-VL-Pairs

该数据集是MarsRetrieval基准测试的任务1，旨在评估视觉语言模型（VLMs）在火星地理空间发现中的表现，专注于细粒度的图像-文本对齐。数据集包含2,287个配对的火星图像-文本样本，涵盖从全球轨道图像到漫游车级别图像的多尺度空间数据。每个样本包含图像URL、原始描述和精炼描述。该数据集适用于双向检索任务（文本→图像和图像→文本），并使用标准检索指标（如Recall@1、Recall@10、MRR和MedR）进行评估。数据集采用CC-BY-4.0许可，属于多模态和检索任务类别。

搜集汇总

数据集介绍

构建方式

在行星科学领域，火星遥感影像与文本描述的精细对齐对于推进地外环境理解至关重要。Mars-VL-Pairs数据集作为MarsRetrieval基准任务的核心组成部分，其构建过程严谨而系统。研究团队从多空间尺度采集了火星影像数据，涵盖全球轨道拼接图至巡视器级的高分辨率图像，并通过人工与自动化相结合的方式，为每幅图像精心撰写了对应的文本描述。最终形成的2287个图像-文本对，经过多轮校验与优化，确保了数据在语义层面的高度一致性与科学性，为评估视觉-语言模型在跨模态检索任务上的细粒度对齐能力奠定了坚实基础。

特点

该数据集在行星地理空间检索领域展现出鲜明的特色。其核心在于覆盖了火星表面从宏观到微观的多层次空间尺度，使得模型能够学习并区分不同分辨率下的地质特征与语义信息。每个数据样本均包含原始描述与精炼后的描述文本，这为研究语言表达的精确性对检索性能的影响提供了直接对比。数据集采用严格的一对一双向检索评估框架，专注于衡量模型在图像与文本之间的细粒度语义匹配能力，而非广义的多模态理解，从而为视觉-语言模型在专业科学任务上的性能提供了精准的度量标尺。

使用方法

在具体应用层面，研究者可通过Hugging Face的`datasets`库便捷加载此数据集。加载后，数据以训练集形式呈现，每个样本包含图像链接、原始描述及精炼描述等关键字段。为执行标准的双向检索评估，用户需遵循官方文档中详述的检索协议，利用提供的评估脚本计算召回率、平均倒数排名等核心指标。该数据集主要服务于模型在跨模态对齐能力上的基准测试与比较研究，鼓励研究者在火星地学发现这一特定领域，深入探索视觉与语言表征的交互机制。

背景与挑战

背景概述

随着行星科学和人工智能交叉领域的蓬勃发展，对火星等外星地形的自动化视觉语言理解成为新兴研究方向。Mars-VL-Pairs数据集由南方科技大学的研究团队于2026年创建，作为MarsRetrieval基准的核心任务之一，旨在评估视觉语言模型在火星多尺度地理空间数据上的细粒度图文对齐能力。该数据集聚焦于从全球轨道镶嵌图到巡视器级影像的跨尺度火星图像与文本描述配对，致力于解决行星地质学中自动化视觉内容检索与解释的核心科学问题，为地外环境的多模态智能分析提供了关键的数据基础。

当前挑战

该数据集针对的领域挑战在于火星地理空间图文检索任务本身的高度复杂性，火星地表环境具有独特的地质纹理、光照条件和地貌结构，要求模型能够理解超越地球场景的专业科学描述与视觉特征之间的细微关联。在构建过程中，研究人员面临数据获取与标注的双重困难：火星影像数据来源分散且分辨率不一，需进行多源整合与尺度统一；同时，生成精确、无歧义且涵盖科学术语的文本描述需要行星地质学专业知识，确保图文配对在科学严谨性与语义丰富性之间取得平衡。

常用场景

经典使用场景

在行星科学与人工智能交叉领域，Mars-VL-Pairs数据集为评估视觉语言模型在火星地理空间检索任务中的性能提供了基准。该数据集通过精心构建的2287对火星图像-文本样本，覆盖从全球轨道镶嵌图到巡视器级影像的多尺度空间信息，专门用于测试模型在细粒度图文对齐任务上的表现。研究者通常利用该数据集进行双向检索评估，即文本到图像与图像到文本的检索，以此衡量模型在复杂地理语义理解与跨模态匹配方面的能力。

实际应用

在实际应用中，Mars-VL-Pairs数据集可服务于火星探测任务的数据管理与知识发现。例如，在火星巡视器任务中，自动化系统可利用该数据集训练的模型，快速从海量影像库中检索出与特定地质描述匹配的图像，辅助科学家识别关键科学目标如撞击坑、沉积层或水蚀痕迹。此外，该技术也能用于公众科普平台，实现自然语言查询到火星视觉内容的智能链接，提升科学数据的社会化利用效率。

衍生相关工作

围绕Mars-VL-Pairs数据集，已衍生出一系列专注于行星视觉语言建模的经典研究工作。这些工作不仅扩展了原始检索任务，还发展了针对火星地貌的视觉问答、图像描述生成及异常检测等方向。部分研究进一步整合多源轨道数据，构建了融合高程与光谱信息的增强型跨模态基准，推动了地理空间人工智能在行星科学中的深度应用，并为未来木星、土星等外行星探测任务中的智能数据处理奠定了基础。