ORCA

ORCA数据集是由不列颠哥伦比亚大学的深度学习和自然语言处理组创建的，旨在为阿拉伯语言理解提供一个挑战性和多样化的评估基准。该数据集包含60个公开可用的数据集，这些数据集被组织成七个任务集群，包括句子分类、结构预测、主题分类、语义文本相似性、自然语言推理、问答和词义消歧。ORCA数据集的设计考虑到了阿拉伯语言的丰富性和多样性，包括现代标准阿拉伯语和方言阿拉伯语。此外，数据集还提供了详细的统计分析和模型评估，以及一个交互式的公共排行榜，以促进阿拉伯和多语言自然语言处理领域的进步。

The ORCA dataset was developed by the Deep Learning and Natural Language Processing Group at the University of British Columbia, with the aim of providing a challenging and diverse evaluation benchmark for Arabic language understanding. It consists of 60 publicly available datasets, which are organized into seven task clusters: sentence classification, structure prediction, topic classification, semantic textual similarity, natural language inference, question answering, and word sense disambiguation. The design of the ORCA dataset takes into account the richness and diversity of the Arabic language, including both Modern Standard Arabic and colloquial Arabic varieties. In addition, the dataset provides detailed statistical analyses and model evaluation results, as well as an interactive public leaderboard to advance progress in the fields of Arabic and multilingual natural language processing.

搜集汇总

数据集介绍

构建方式

ORCA数据集的构建始于系统化的类别清单编纂，借助GPT-4生成广泛使用的俗名以引导图像检索。图像来源涵盖Google Images、Flickr及iNaturalist平台，经人工筛选去除重复与误分类样本后，将每个俗名映射至世界海洋物种名录（WoRMS）中的对应分类单元。边界框标注采用Segment Anything Model（SAM）结合人工点提示生成对象掩码，并转换为轴对齐边界框，确保完整包裹包括半透明鳍与细长附肢在内的目标实例。描述文本的生成则针对大尺寸边界框区域，调用MarineGPT产生面向海洋研究的描述，随后由领域专家沿形态特征、空间语境、环境背景及行为线索四个维度进行验证与精炼，每个图像至少优化一条描述。

特点

ORCA数据集具备三大显著特性：其一，提供全面的实例级标注，每个面积超过1024像素的边界框均配有描述文本并关联至海洋分类类别，涵盖478个物种与670个俗名类别；其二，视觉与文本监督保持均衡规模，支持多模态任务协同发展；其三，描述文本密集且词汇多样，每个生物体均拥有丰富且差异化的描述，平均描述长度与词汇多样性均显著优于通用数据集。此外，数据集包含经专家验证的22,321个实例-描述对，并刻意保留12,431个负例描述以增强模型对硬负样本的辨识能力。

使用方法

ORCA支持三类核心视觉-语言任务：在目标检测方面，涵盖闭集与开放词汇两种设定，并引入类级别、类内与跨类三种评估范式以系统考察分类层级对识别能力的影响；在实例描述生成方面，提供图像级与区域级两种评估基准，鼓励模型生成蕴含科学分类信息的领域特异性描述；在视觉定位方面，以专家验证的描述为查询，评估模型在零样本与微调设定下的定位精度。研究者可直接使用官方发布的模型权重进行基准测试，或在ORCA数据集上进行微调以提升模型在海洋领域的表现。

背景与挑战

背景概述

海洋生态系统在全球生物多样性保护与可持续资源管理中占据举足轻重的地位，然而受限于水下环境的复杂性与物种的隐匿性，传统生物调查手段难以实现大规模、自动化的监测。计算机视觉技术的引入为海洋生物识别与生态记录提供了新的契机，但现有数据集普遍存在分类体系粗放、地理覆盖狭窄、缺乏细粒度语义标注等瓶颈。在此背景下，香港科技大学与电子科技大学及印度洋基金会等机构合作，于2025年发布了ORCA数据集，旨在构建首个面向海洋研究的规模化多模态基准。ORCA涵盖478个物种、14,647张图像，提供42,217个边界框与22,321条经海洋生物学家验证的实例描述，支持闭集与开放词汇目标检测、实例描述与视觉定位等任务，为弥合通用视觉模型与海洋领域需求之间的鸿沟奠定了坚实基础。

当前挑战

ORCA数据集所面临的挑战首先体现在领域问题层面：海洋物种间广泛存在的形态重叠现象使得基于视觉特征的物种鉴定极为困难，尤其在同科或同属物种之间，颜色、纹理与体型高度相似，导致现有模型在细粒度分类任务中性能显著下降。此外，现有通用视觉语言模型在实例级描述生成上表现乏力，倾向于输出粗粒度的图像级描述，缺乏对形态学特征、行为模式与生境信息的准确捕捉。在数据集构建过程中，挑战同样严峻：图像来源多样且质量参差不齐，需经过严格的人工筛选以剔除重复与误分类样本；边界框标注需确保完整覆盖透明鳍与细长附肢等特殊形态；专家验证环节需对每个标注框进行多维度语义校对，并保留负样本以提升模型对误导性描述的判别能力，这些步骤共同构成了构建高质量海洋领域数据集的核心障碍。

常用场景

经典使用场景

在海洋生态监测与生物多样性保护的宏大叙事中，ORCA数据集作为首个大规模多模态海洋物种基准，为视觉理解领域开辟了全新疆域。其经典使用场景聚焦于三项核心任务：封闭集与开放词汇下的目标检测、实例级描述生成以及视觉定位。研究者借助ORCA提供的14,647张涵盖478个物种的高质量图像、42,217个边界框标注及22,321条经专家验证的实例描述，能够系统性地评估模型在物种识别、形态学特征捕捉与空间定位上的能力，从而推动海洋视觉智能从粗粒度分类向细粒度理解迈进。

解决学术问题

ORCA数据集精准回应了海洋视觉研究中长期存在的两大瓶颈：训练数据的物种多样性匮乏与任务定义的领域适配不足。现有数据集常局限于少量预设类别或特定地理区域，且依赖粗粒度的图像级标注，难以支撑对形态重叠物种的精准辨识。ORCA通过引入涵盖478个物种的层级化分类体系、实例级边界框与领域知识增强的描述文本，系统性地解决了物种间形态相似性导致的识别混淆问题。其开创性的类内与类间评估设置，为量化模型在相近物种间的区分能力提供了科学范式，显著提升了海洋生物自动调查的学术严谨性与可扩展性。

衍生相关工作

ORCA数据集的问世催生了一系列衍生性研究，深刻影响了海洋视觉领域的技术演进。在开放词汇检测方向，DECOLA模型借助ORCA的语言条件查询策略，在类内与类间设置下取得了显著性能突破，验证了语言引导在细粒度识别中的关键作用。在实例描述生成领域，MiniGPT-4经ORCA微调后，CIDEr指标提升逾11个百分点，揭示了领域特定标注对提升描述准确性与科学性的核心价值。此外，GroundingDINO等视觉定位模型在ORCA上微调后，未见类别上的定位精度提升超过10%，充分证明了密集领域描述在增强模型鲁棒性方面的独特优势。