MarineEval

MarineEval是由香港科技大学团队构建的首个大规模海洋视觉语言模型评估数据集，包含2000个基于图像的高质量问答对，涵盖7类任务维度和20项领域能力指标。数据集通过整合公开分类检测数据集、海洋文献及权威网页等多源数据，并经过视觉必要性测试和领域专家验证，确保数据多样性和专业性。其内容聚焦海洋物种识别、行为分析、空间推理等细分场景，旨在解决现有通用模型在海洋专业知识理解中的局限性，为领域适应性研究提供基准支持。

MarineEval is the first large-scale marine visual-language model evaluation dataset constructed by the team from The Hong Kong University of Science and Technology. It contains 2000 high-quality image-based question-answer pairs, covering 7 task dimensions and 20 domain capability metrics. The dataset integrates multi-source data including public classification and detection datasets, marine literature, authoritative web pages and other sources, and has passed visual necessity tests and domain expert validation to ensure data diversity and professionalism. Its content focuses on specific scenarios such as marine species recognition, behavior analysis, spatial reasoning and others, aiming to address the limitations of existing general models in understanding professional marine knowledge, and providing benchmark support for domain adaptation research.

原始信息汇总

MarineEval数据集概述

状态

• 网站当前正在建设中，尚未准备就绪。

提示信息

• 请稍后再查看。

搜集汇总

数据集介绍

构建方式

在海洋视觉语言模型评估领域，MarineEval的构建遵循严谨的多阶段流程。数据集首先从广泛的公开资源中收集候选数据，涵盖分类数据集、检测数据集、科学文献及权威网页等多样化来源。为确保评估的有效性，研究团队实施了视觉必要性测试，通过移除图像输入并利用多个先进视觉语言模型进行验证，筛选掉仅凭文本即可回答的问题，从而消除知识泄露风险。最终，通过领域专家参与的人工循环流程，对2000个图像-问答对进行手动构建与验证，确保每个样本均符合海洋领域的专业要求。

特点

MarineEval展现出鲜明的领域专属性与评估深度。其核心特征在于对海洋科学专业知识的深度嵌入，问题设计涉及物种分类、IUCN保护状态及生物地理分布等需专门学识的维度，有效探测了主流训练语料中稀缺的知识空间。数据集呈现显著的视觉领域偏移，图像多来源于水下环境，涵盖低对比度、运动模糊及复杂生境等挑战性场景，为模型的零样本视觉泛化能力提供了严格测试。此外，评估设置兼顾封闭式与开放式问题，近四分之一的样本要求模型进行自由形式推理，更贴近真实海洋研究场景的复杂性。

使用方法

MarineEval为系统评估视觉语言模型的海洋智能提供了标准化框架。使用时，研究者将图像与对应问题输入待测模型，并根据不同问题格式采用相应评估策略。对于是非题与多选题，通过模板匹配或序列对数概率比较来判定答案准确性；定位任务则依据预测边界框与真实标注的交并比进行度量。针对复杂的封闭式与开放式回答，数据集引入了基于大语言模型的自动化评判机制，通过对比生成回答与专家总结的关键点，在语义层面评估内容的缺失与冗余。这种多格式、多维度的评估方法，确保了结果的可比性与可复现性，为模型在海洋领域的性能诊断与改进提供了可靠依据。

背景与挑战

背景概述

随着大语言模型与视觉语言模型在通用任务中展现出卓越能力，其在专业领域的应用潜力逐渐受到关注。海洋科学作为关乎生态系统保护的关键领域，长期以来缺乏针对视觉语言模型的系统性评估基准。为此，香港科技大学的研究团队于2025年推出了MarineEval数据集，旨在全面评估现有视觉语言模型在海洋智能任务中的表现。该数据集包含2000个基于图像的问答对，涵盖物种理解、空间推理、保护分析等七个任务维度和二十个能力维度，其构建过程严格遵循视觉必要性测试与领域专家验证，确保了数据的多样性与权威性。MarineEval的建立填补了海洋视觉理解评估的空白，为模型在专业领域的可靠性与适应性提供了重要衡量标准。

当前挑战

MarineEval致力于解决视觉语言模型在海洋领域理解中的核心挑战，即模型能否像领域专家一样准确回答需要专业知识的海洋问题。具体挑战体现在两方面：其一，领域问题的复杂性要求模型具备精细的物种识别、生态知识整合与空间推理能力，而现有模型在此类任务中表现显著不足，存在严重的幻觉现象；其二，数据构建过程中需克服视觉域偏移的难题，水下图像常呈现低对比度、运动模糊等特性，与通用数据集分布差异显著，同时需确保问题答案依赖视觉内容而非文本泄漏，并通过专家验证保证专业性与客观性。

常用场景

经典使用场景

在海洋视觉智能领域，MarineEval数据集主要用于全面评估现有视觉语言模型（VLMs）的海洋专业知识理解能力。该数据集通过精心构建的2000个基于图像的问答对，覆盖物种理解、行为特征提取、空间推理等七个任务维度，为模型在复杂水下环境中的视觉感知与语言推理能力提供了标准化的测试平台。其核心应用场景在于量化分析通用VLMs在面临海洋领域特有的视觉分布偏移和专业知识需求时的性能边界，从而揭示模型在特定学科应用中的局限性。

实际应用

在实际应用层面，MarineEval为海洋监测、生态保护与科研教育提供了关键技术支撑。基于该基准优化的模型可应用于自动化珊瑚礁健康评估、濒危物种实时识别、海洋污染灾害分析等场景。例如，在海洋保护区的智能监测系统中，具备海洋智能的VLMs能够解析水下摄像机采集的图像，自动生成包含物种组成、行为模式及生态威胁的综合性报告，显著提升大规模海洋观测的数据处理效率与科学洞察深度，助力蓝色经济的可持续发展。

衍生相关工作

MarineEval的发布促进了海洋人工智能领域一系列经典工作的衍生与发展。在数据集层面，它与此前专注于实例感知的MarineInst、强调地质空间知识的SeaFloorAI形成了能力互补的评估体系。在模型研究方面，该基准催生了针对海洋领域优化的视觉语言架构探索，如结合领域知识注入与视觉特征适配的新型训练策略。同时，其构建方法论启发了医疗、农业等垂直领域构建专业评估基准的范式，推动了跨学科视觉语言评估体系的标准化与精细化发展。