MSC

MSC数据集是中国科学院自动化研究所模式识别国家重点实验室创建的，专注于星际争霸II游戏中的宏观管理问题。该数据集包含36619条高质量的游戏回放数据，通过标准化的预处理、解析和特征提取过程构建。数据集内容涵盖精心设计的功能向量、预定义的高级动作空间以及每场比赛的最终结果。创建过程中，数据集被分为训练、验证和测试集，以便于评估和比较。MSC数据集主要应用于宏观管理任务，如建造顺序预测和全局状态评估，旨在通过模仿专业玩家的行为来提高AI的表现。

The MSC Dataset was created by the State Key Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, focusing on macro-management problems in StarCraft II games. This dataset contains 36,619 high-quality game replay data, and is constructed through standardized preprocessing, parsing and feature extraction processes. The dataset covers carefully designed feature vectors, predefined high-level action spaces, and the final results of each match. During the creation process, the dataset was split into training, validation and test sets to facilitate evaluation and comparison. The MSC Dataset is mainly applied to macro-management tasks such as build order prediction and global state assessment, aiming to improve AI performance by imitating the behaviors of professional players.

搜集汇总

数据集介绍

构建方式

在海洋生物信息学领域，高质量标注数据的稀缺性长期制约着计算机视觉模型的深入应用。MSC数据集的构建采用了一种创新的两阶段标注流程，旨在克服水下视频动态复杂、物种繁多带来的挑战。首先，研究团队从全球20个潜水地点采集了总时长约24.8小时的原始视频，并依据清晰度、场景复杂性和多样性三项标准筛选出396段核心视频。随后，标注过程分为实例级视频分割与片段级描述生成两个关键步骤：专业标注人员利用基于SAM框架开发的交互式工具，对视频中的海洋生物及环境要素进行像素级分割，涵盖鱼类、珊瑚礁、沉船等六大类别；在此基础上，通过将长视频切分为语义连贯的短片断，并融合GPT-4.1等大语言模型生成的初始描述，最终由18位海洋生物学家进行精细化修正与验证，形成视频-分割掩码-文本描述的三元组数据。

使用方法

MSC数据集为海洋视频理解研究提供了多功能基准测试平台，其应用方法涵盖多个前沿方向。在视频描述生成任务中，研究者可利用其片段级标注训练或评估模型对动态场景的语义捕捉能力，特别是针对生物行为与环境背景的联合建模。对于视觉 grounding 任务，数据集提供的三元组结构支持开发能够根据自然语言描述定位并分割特定海洋对象的模型，促进跨模态对齐研究。在文本到视频生成领域，高质量的片段描述可作为提示词，用于驱动生成模型合成具有真实海洋生态特征的动态场景。此外，数据集的层级化组织方式——从视频摘要、片段描述到像素级掩码——支持多粒度分析，便于开展如长视频理解、细粒度行为识别等复杂任务。研究社区可通过公开的数据集入口获取完整资源，并参照论文中的基准实验设置进行可复现的模型性能对比。

背景与挑战

背景概述

海洋视频理解因水下环境的动态复杂性、相机运动及生物多样性而面临独特挑战。MSC数据集由香港科技大学团队于2024年构建，旨在填补现有视频描述数据集在海洋领域泛化能力的不足。该数据集收录了跨越13个国家、总计24.8小时的海洋野生动物视频，并创新性地提供了视频、文本与分割掩码的三元组标注。其核心研究问题聚焦于通过细粒度的片段级描述与视觉定位，推动海洋视频的语义理解、分析与生成，为海洋生物学与计算机视觉的交叉研究提供了关键数据基础。

当前挑战

在解决海洋视频描述与视觉定位的领域问题中，MSC数据集面临多重挑战：海洋环境的动态变化与光照条件差异导致目标对象识别困难；水下场景中生物种类繁多且行为复杂，对描述生成模型的语义准确性提出更高要求。在构建过程中，数据标注面临显著挑战：需依赖专业生物学家进行人工修正以克服大语言模型在稀缺领域产生的幻觉问题；同时，对象尺度与类别分布极不均衡，如鱼类数量众多但像素占比微小，而沉船等类别则相反，这影响了模型训练的稳定性与泛化性能。

常用场景

经典使用场景

在海洋生物信息学与计算机视觉交叉领域，MSC数据集为视频理解任务提供了关键支撑。其经典应用场景集中于海洋野生动物视频的细粒度分析与描述，通过整合视频片段、像素级分割掩码和剪辑级文本描述的三元组结构，支持研究者开发能够精准识别水下动态对象并生成连贯语义描述的模型。该数据集尤其适用于训练和评估视觉语言模型在复杂水下环境中的性能，例如对鱼类游动行为、珊瑚礁形态变化或潜水员互动进行自动化标注与解析。

解决学术问题

MSC数据集有效应对了海洋视频分析中的若干核心学术挑战。它解决了现有通用视频描述数据集难以泛化至水下复杂场景的问题，通过提供高质量的分割掩码与剪辑级描述，降低了模型在动态光照、对象遮挡及背景杂乱情况下的幻觉现象。该数据集推动了视觉接地与视频描述任务的融合研究，使得模型能够同时理解空间定位与时间演变，为海洋生物行为学、生态监测等领域的定量分析提供了可靠的数据基础。

实际应用

在实际应用层面，MSC数据集为海洋保护与科研活动提供了技术赋能。其标注数据可直接用于开发智能水下监测系统，实现对特定海洋物种的自动追踪与行为识别，辅助生物学家进行种群调查与生态评估。此外，基于数据集的文本到视频生成能力，能够合成逼真的海洋场景用于环境教育与虚拟展示，而视觉接地技术则可用于构建交互式海洋知识检索平台，提升公众对海洋生物多样性的认知与保护意识。

数据集最近研究

最新研究方向

在海洋计算机视觉领域，MSC数据集正推动着多模态视频理解的前沿探索。该数据集通过视频、文本与分割掩码的三元组结构，为海洋野生动物视频的细粒度分析提供了坚实基础。当前研究聚焦于利用大语言模型与视觉语言模型，解决海洋环境中视频描述生成、视觉定位及文本到视频生成等核心任务。针对水下场景的动态复杂性，学者们致力于开发能够精准捕捉海洋生物行为与时空关系的算法，以克服传统模型在泛化性与幻觉问题上的局限。这一进展不仅深化了海洋生态的智能化监测能力，也为跨模态生成与理解技术的演进注入了新的动力。

相关研究论文

• MSC: A Marine Wildlife Video Dataset with Grounded Segmentation and Clip-Level Captioning

  香港科技大学 · 2025年