BURST

BURST数据集是由亚琛工业大学和卡内基梅隆大学合作创建的，包含2914个多样化的视频，每个视频至少有480像素的分辨率，长度约30秒，涵盖室内外场景、野生视频、电影场景和车载街景等。数据集通过专业重新标注，提供了高质量的对象掩码，支持六个与视频中对象跟踪和分割相关的任务。BURST数据集旨在促进不同研究子社区之间的知识共享，加速通用方法的发展，以解决多个任务。The BURST dataset was collaboratively developed by RWTH Aachen University and Carnegie Mellon University. It contains 2,914 diverse videos, each with a minimum resolution of 480 pixels and a duration of roughly 30 seconds, covering indoor and outdoor scenes, wildlife videos, film sequences, and in-vehicle street views, among other scenarios. The dataset provides high-quality object masks obtained via professional re-annotation, supporting six tasks related to object tracking and segmentation in videos. The BURST dataset is designed to promote knowledge sharing across different research sub-communities and accelerate the advancement of general-purpose methods for addressing multiple tasks.

搜集汇总

数据集介绍

构建方式

BURST数据集的构建基于TAO数据集，通过专业标注将原有的边界框注释升级为像素级精确的掩码注释。为提升训练集的时间密度，采用半自动流程将注释频率从每秒1帧增至每秒6帧，该流程结合了自动掩码传播技术与人工质量评估。具体而言，利用STCN和AOT-L等先进视频对象分割方法进行前向与后向掩码传播，生成多个候选掩码后通过多数投票达成共识，并基于质量评分与掩码面积阈值筛选低质量样本进行手动重新标注，从而在保证注释准确性的同时显著降低了人力成本。

特点

BURST数据集涵盖室内外场景、自然视频、电影片段及驾驶场景等多种视频类型，包含2914个视频和约60万个对象掩码，覆盖482个对象类别，具有高度的多样性与挑战性。其核心特点在于统一了六项与视频中对象分割与跟踪相关的任务，涵盖示例引导与类别引导两大流派的细分任务，并采用基于高阶跟踪准确度的统一评估指标，使得不同任务的方法能够直接比较。此外，数据集的联邦注释策略允许非穷尽标注，支持对长尾类别及开放世界任务的评估，促进了跨任务的知识交流与通用化方法的发展。

使用方法

BURST数据集的使用围绕其六项任务展开，包括示例引导任务中的掩码、边界框和点引导，以及类别引导任务中的常见类别、长尾类别和开放世界类别。研究人员可根据任务需求，利用数据集提供的像素级掩码注释和统一评估框架进行方法开发与验证。评估时采用HOTA及其变体OWTA等指标，确保跨任务性能的可比性。数据集附带的基线方法展示了如何将现有技术应用于不同任务，例如通过检测跟踪范式或掩码传播策略，为后续研究提供了参考起点，并鼓励通过共享数据与一致指标推动领域内的协作与创新。

背景与挑战

背景概述

在计算机视觉领域，视频对象分割与跟踪是支撑自动驾驶、自主机器人等应用的核心技术。然而，长期以来，相关研究因数据集与评估指标的分散而形成了相互割裂的子社区。为促进知识融合与方法泛化，由德国亚琛工业大学、卡内基梅隆大学等机构的研究团队于2022年联合创建了BURST数据集。该数据集基于TAO数据集构建，通过专业标注提供了像素级精度的对象掩码，涵盖室内外场景、驾驶视角与影视片段等多样化视频内容。BURST的核心价值在于其统一的六任务基准，涵盖从范例引导到类别引导的多层次跟踪与分割问题，旨在打破子社区壁垒，推动通用化算法的发展，对视频理解领域的整合与进步产生了深远影响。

当前挑战

BURST数据集致力于解决视频中多对象分割与跟踪的综合性挑战，其核心问题在于如何设计一个统一框架以兼容不同任务范式，如范例引导分割与开放世界跟踪。构建过程中的主要挑战体现在两方面：一是标注质量的保障，需在有限成本下为大量视频帧生成像素级掩码，团队通过半自动流程结合多数投票与质量评估策略，仅对低质量部分进行人工修正，显著提升了效率；二是数据一致性与任务兼容性，需确保来自七个子数据集的视频在标注密度、场景分布与类别覆盖上协调统一，以支持跨任务公平评估。这些挑战的克服为多任务学习与算法迁移奠定了坚实基础。

常用场景

经典使用场景

在视频对象识别与分割领域，BURST数据集作为统一基准，其经典使用场景集中于评估算法在多样化视频序列中执行像素级对象跟踪与分割的综合能力。该数据集整合了室内外场景、行车记录与互联网视频，涵盖482个对象类别，支持从示例引导到类别引导的六项任务，为研究者提供了检验模型在长尾分布与开放世界设定下泛化性能的标准化平台。

实际应用

在实际应用中，BURST数据集为自动驾驶、自主机器人等系统提供了关键测试环境。其涵盖的行车场景与动态交互视频能够验证算法在复杂光照、遮挡及快速运动条件下的鲁棒性，助力开发能够在真实世界中实时、精确分割与跟踪多对象的视觉系统，提升智能设备的感知与决策能力。

衍生相关工作

基于BURST数据集，研究者已衍生出多项经典工作，例如利用STCN等视频对象分割方法进行掩码传播以提升时序一致性，或将Mask2Former等图像检测器适配于长尾类别跟踪。这些工作不仅深化了对任务间关联的理解，还催生了如统一评估框架HOTA的广泛应用，推动了多任务学习与开放世界跟踪算法的创新。