ORCA

ORCA旨在通过提供实例级描述和边界框来支持细粒度理解，从而推动机器学习模型在海洋视觉理解方面的进步。数据集支持多种计算机视觉任务，包括目标检测、开放词汇目标检测、图像定位和图像描述。数据集采用COCO格式，包含图像和注释文件，注释中新增了caption和label字段。数据集还提供了不同层次的分割，包括类级别、类内和类间分割。

原始信息汇总

ORCA 数据集概述

数据集基本信息

• 数据集名称: ORCA
• 主页: http://orca.hkustvgd.com/
• 论文: https://arxiv.org/abs/2512.21150
• 许可证: cc-by-4.0
• 语言: 英语 (en)
• 数据规模: 10K<n<100K

数据集简介

ORCA 旨在通过制定与既定计算机视觉目标相一致的任务，并提供实例级描述和边界框以支持细粒度理解，从而提升机器学习模型对海洋视觉的理解能力。

支持的任务

• 目标检测: 在预定义类别集中识别和定位目标对象。
• 开放词汇目标检测: 在固定类别集之外识别和定位目标对象，允许灵活定义类别。
• 图像定位: 给定一个短语，在图像中识别并定位相应的对象。
• 图像描述生成: 给定一张图像，生成对其内容的描述性文本摘要。

数据集结构

ORCA 采用 COCO 数据集格式。图像存储在 images 目录中，标注信息包含在 data.json 文件中。

数据实例

一个数据实例如下所示： json { "images": [{"id": 1, "file_name": "images/black_ghost_knifefish_013.jpg", "width": 650, "height": 490}], "annotations": [{ "id": 1, "image_id": 1, "category_id": 64, "bbox": [196, 242, 117, 77], "area": 9009, "caption": "The object in this figure is a small dark fish swimming in an aquarium next to a short piece of white pipe. The fish appears similar to several other fish swimming it that have ribbon-like bodies with white banded tails. There is gravel on the bottom of the tank. The fish is in the center of the image.", "label": 2, "negative_tags": "" }], "categories": [{ "id": 669, "name": "zidona dufresnei", "supercategory": "zidona dufresnei", "kingdom": "Animalia", "phylum": "Mollusca", "class": "Gastropoda", "order": "Neogastropoda", "family": "Volutidae", "genus": "Zidona", "species": "dufresnei" }] }

• 引入了新条目 caption 来存储与每个边界框相关的描述。
• 新条目 label 定义了每个描述的分类，具体如下：

标签ID	描述
0	由大语言模型生成的正面描述
1	由大语言模型生成的负面描述
2	由领域专家精炼的正面描述

数据集划分

split_annotations 目录包含划分后的数据集。对于每个层次级别，我们提供单独的训练标签、已见类别的验证标签和未见类别的验证标签。

划分级别	描述
类别级别	根据物种的分类学 Class 进行分组。
类内划分	根据其通用类别，在同一 Class 内划分物种。
类间划分	对于每个 Class，每四个通用类别中指定一个为未见类别，其余三个为已见类别。

引用信息

bibtex @misc{wong2025orcaobjectrecognitioncomprehension, title={ORCA: Object Recognition and Comprehension for Archiving Marine Species}, author={Yuk-Kwan Wong and Haixin Liang and Zeyu Ma and Yiwei Chen and Ziqiang Zheng and Rinaldi Gotama and Pascal Sebastian and Lauren D. Sparks and Sai-Kit Yeung}, year={2025}, eprint={2512.21150}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2512.21150}, }

搜集汇总

数据集介绍

构建方式

在海洋生物视觉理解领域，ORCA数据集的构建体现了对精细标注的追求。该数据集采用COCO格式组织，图像存储于独立目录，标注信息则集中于JSON文件。其核心创新在于为每个边界框引入了实例级描述文本，这些文本涵盖正面与负面描述，并标注了生成来源——部分由大型语言模型生成，部分经领域专家精炼。数据划分策略独具匠心，依据物种分类学层级进行分层，设置了类级、类内及类间三种划分方式，旨在系统评估模型在已知类别与未知类别上的泛化能力。

特点

ORCA数据集的特点在于其任务导向的多功能性与标注的丰富性。它不仅支持传统的目标检测任务，更拓展至开放词汇检测、图像定位及图像描述生成等前沿方向。数据集标注超越了简单的类别与边界框，为每个实例提供了详尽的自然语言描述，并标注了描述的性质与来源，这为模型理解图像语义内容提供了细粒度监督信号。其分层划分机制模拟了现实场景中遇到新物种的挑战，为评估模型的零样本与少样本学习能力提供了严谨的基准。

使用方法

使用ORCA数据集时，研究者可依据其分层划分结构灵活设计实验。数据集目录中的`split_annotations`子目录提供了不同划分层级的训练集、已知类别验证集及未知类别验证集标签，便于进行跨类别泛化能力评估。数据加载可遵循标准COCO格式流程，同时需注意处理新增的`caption`与`label`字段以利用其丰富的语义信息。该数据集适用于训练和评估在海洋场景下具备细粒度视觉理解和开放词汇识别能力的计算机视觉模型。

背景与挑战

背景概述

海洋视觉理解作为计算机视觉领域的前沿分支，长期面临数据稀缺与标注精细度不足的挑战。ORCA数据集由香港科技大学的研究团队于2025年创建，其核心研究问题在于推动机器学习模型对海洋生物视觉内容的细粒度认知。该数据集通过整合实例级描述与边界框标注，旨在支持目标检测、开放词汇检测及图像描述生成等多类任务，为海洋生态监测、物种识别与生物多样性研究提供了关键的数据基础，显著提升了模型在复杂水下环境中的感知与理解能力。

当前挑战

ORCA数据集致力于解决海洋视觉领域内开放词汇目标检测与细粒度图像描述的难题，其挑战在于模型需在有限样本下准确识别并定位多样且形态多变的海洋物种，同时理解其生态语境。在构建过程中，研究人员面临标注一致性维护的困难，尤其是在整合大语言模型生成描述与领域专家修正标注时，需平衡自动化效率与专业准确性；此外，数据按生物分类层级划分训练与验证集，以模拟现实世界中未知类别的识别场景，这要求数据集在结构设计上兼顾系统性与泛化性。

常用场景

经典使用场景

在海洋视觉理解领域，ORCA数据集为机器学习模型提供了丰富的实例级标注，包括边界框和描述性文本，使其成为训练和评估对象检测与图像描述任务的理想资源。该数据集通过模拟真实海洋环境中的物种多样性，支持模型在复杂水下场景中进行细粒度识别，尤其适用于研究开放词汇对象检测，其中模型需要定位并识别超出预定义类别范围的海洋生物。

衍生相关工作

基于ORCA数据集，已衍生出多项经典研究工作，包括在开放词汇检测框架中引入分层分类策略以提升模型对稀有物种的识别能力，以及利用其多模态标注训练视觉语言模型进行零样本海洋图像理解。这些工作进一步扩展了数据集的潜力，促进了计算机视觉与海洋生物信息学的深度融合，为后续研究提供了方法论参考。

数据集最近研究

最新研究方向

在海洋视觉理解领域，ORCA数据集正推动着开放词汇目标检测与细粒度图像描述的前沿探索。该数据集通过结合实例级标注与专家精炼的文本描述，为模型在复杂水下场景中的零样本识别与跨类别泛化能力提供了关键支持。当前研究热点聚焦于利用其层级化分割策略，探索模型在未见物种类别上的适应性，以及如何将大规模语言模型的生成能力与领域专业知识相融合，以提升海洋生物监测与生态保护的自动化水平。这一进展不仅深化了计算机视觉在专业领域的应用，也为生物多样性研究提供了可扩展的技术框架。