ORCA
收藏资源简介：
ORCA旨在通过提供实例级描述和边界框来支持细粒度理解，从而推动机器学习模型在海洋视觉理解方面的进步。数据集支持多种计算机视觉任务，包括目标检测、开放词汇目标检测、图像定位和图像描述。数据集采用COCO格式，包含图像和注释文件，注释中新增了caption和label字段。数据集还提供了不同层次的分割，包括类级别、类内和类间分割。
ORCA is designed to support fine-grained visual understanding by providing instance-level descriptions and bounding boxes, thereby advancing the development of machine learning models for marine visual understanding. This dataset supports a wide range of computer vision tasks, including object detection, open-vocabulary object detection, image grounding, and image captioning. It follows the COCO format, consisting of image files and annotation files, with new "caption" and "label" fields added to the annotation entries. Additionally, the dataset provides multi-level segmentation, including class-level, intra-class, and inter-class segmentation.
ORCA 数据集概述
数据集基本信息
- 数据集名称: ORCA
- 主页: http://orca.hkustvgd.com/
- 论文: https://arxiv.org/abs/2512.21150
- 许可证: cc-by-4.0
- 语言: 英语 (en)
- 数据规模: 10K<n<100K
数据集简介
ORCA 旨在通过制定与既定计算机视觉目标相一致的任务，并提供实例级描述和边界框以支持细粒度理解，从而提升机器学习模型对海洋视觉的理解能力。
支持的任务
- 目标检测: 在预定义类别集中识别和定位目标对象。
- 开放词汇目标检测: 在固定类别集之外识别和定位目标对象，允许灵活定义类别。
- 图像定位: 给定一个短语，在图像中识别并定位相应的对象。
- 图像描述生成: 给定一张图像，生成对其内容的描述性文本摘要。
数据集结构
ORCA 采用 COCO 数据集格式。图像存储在 images 目录中，标注信息包含在 data.json 文件中。
数据实例
一个数据实例如下所示： json { "images": [{"id": 1, "file_name": "images/black_ghost_knifefish_013.jpg", "width": 650, "height": 490}], "annotations": [{ "id": 1, "image_id": 1, "category_id": 64, "bbox": [196, 242, 117, 77], "area": 9009, "caption": "The object in this figure is a small dark fish swimming in an aquarium next to a short piece of white pipe. The fish appears similar to several other fish swimming it that have ribbon-like bodies with white banded tails. There is gravel on the bottom of the tank. The fish is in the center of the image.", "label": 2, "negative_tags": "" }], "categories": [{ "id": 669, "name": "zidona dufresnei", "supercategory": "zidona dufresnei", "kingdom": "Animalia", "phylum": "Mollusca", "class": "Gastropoda", "order": "Neogastropoda", "family": "Volutidae", "genus": "Zidona", "species": "dufresnei" }] }
- 引入了新条目
caption来存储与每个边界框相关的描述。 - 新条目
label定义了每个描述的分类，具体如下：
| 标签ID | 描述 |
|---|---|
| 0 | 由大语言模型生成的正面描述 |
| 1 | 由大语言模型生成的负面描述 |
| 2 | 由领域专家精炼的正面描述 |
数据集划分
split_annotations 目录包含划分后的数据集。对于每个层次级别，我们提供单独的训练标签、已见类别的验证标签和未见类别的验证标签。
| 划分级别 | 描述 |
|---|---|
| 类别级别 | 根据物种的分类学 Class 进行分组。 |
| 类内划分 | 根据其通用类别，在同一 Class 内划分物种。 |
| 类间划分 | 对于每个 Class，每四个通用类别中指定一个为未见类别，其余三个为已见类别。 |
引用信息
bibtex @misc{wong2025orcaobjectrecognitioncomprehension, title={ORCA: Object Recognition and Comprehension for Archiving Marine Species}, author={Yuk-Kwan Wong and Haixin Liang and Zeyu Ma and Yiwei Chen and Ziqiang Zheng and Rinaldi Gotama and Pascal Sebastian and Lauren D. Sparks and Sai-Kit Yeung}, year={2025}, eprint={2512.21150}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2512.21150}, }
