COESOT

arXiv2024-01-08 更新2024-07-30 收录

下载链接：

https://github.com/Event-AHU/COESOT

下载链接

链接失效反馈

官方服务：

资源简介：

一个用于颜色事件跟踪的通用大规模基准数据集，包含90个类别和1354个视频序列。

A general-purpose large-scale benchmark dataset for color event tracking, which includes 90 categories and 1354 video sequences.

创建时间：

2022-11-21

原始信息汇总

COESOT 数据集概述

数据集简介

COESOT 是一个通用且大规模的基于颜色-事件视觉跟踪的基准数据集。

数据集下载

百度网盘链接：下载链接
提取码：AHUT

数据集结构

数据集包含训练和测试子集：

训练子集：827个视频，160GB
测试子集：528个视频，105GB

每个视频文件夹包含以下内容：

_aps 文件夹
_dvs 文件夹
.aedat4 文件
groundtruth.txt
absent.txt
start_end_index.txt

评估工具包

工具包下载：COESOT_eval_toolkit（提取码：siaw）
使用步骤：
1. 解压并使用 Matlab R2020 打开。
2. 添加跟踪结果和基准结果。
3. 运行评估脚本进行性能评估。

引用

bibtex @article{tang2022coesot, title={Revisiting Color-Event based Tracking: A Unified Network, Dataset, and Metric}, author={Tang, Chuanming and Wang, Xiao and Huang, Ju and Jiang, Bo and Zhu, Lin and Zhang, Jianlin and Wang, Yaowei and Tian, Yonghong}, journal={arXiv preprint arXiv:2211.11010}, year={2022} }

搜集汇总

数据集介绍

构建方式

COESOT数据集通过使用DVS346事件相机和变焦镜头，采集了1354个视频序列，涵盖了90个类别。数据集分为训练集和测试集，分别包含827和527个视频。视频采集自室内外多种场景，确保了目标对象在不同光照、运动和遮挡条件下的多样性。每个视频序列都进行了密集标注，包括目标的边界框和17个挑战属性，如低光照、快速运动和遮挡等，以全面评估跟踪算法的性能。

使用方法

COESOT数据集可用于训练和测试颜色-事件跟踪算法。研究者可以使用数据集中的视频序列进行模型训练，并通过测试集评估算法的性能。数据集提供了丰富的标注信息，包括目标的边界框和挑战属性，研究者可以根据这些信息设计更鲁棒的跟踪算法。此外，数据集还提供了多种事件表示格式，如事件帧、时间表面和体素表示，研究者可以根据需要选择合适的表示方式进行实验。

背景与挑战

背景概述

视觉目标跟踪是计算机视觉领域中的一个关键任务，旨在通过一系列边界框定位初始目标对象。近年来，结合彩色摄像头和事件摄像头（动态视觉传感器，DVS）进行鲁棒目标跟踪的研究逐渐兴起。然而，现有的彩色-事件跟踪框架通常包含多个分散的模块，导致效率低下和计算复杂度高。为了解决这一问题，Chuanming Tang等人提出了一种名为CEUTrack的单阶段骨干网络，用于彩色-事件统一跟踪（Color-Event Unified Tracking, CEUTrack）。该网络通过将事件点转换为体素，并利用自适应视觉Transformer网络进行特征提取和融合，实现了高效的目标定位。为了验证模型的有效性并解决彩色-事件跟踪任务中的数据不足问题，研究团队还提出了一个大规模基准数据集COESOT，包含90个类别和1354个视频序列。COESOT数据集的提出为彩色-事件跟踪领域提供了新的研究平台，并推动了该领域的发展。

当前挑战

COESOT数据集的构建面临多个挑战。首先，彩色-事件跟踪任务的复杂性在于如何有效融合彩色图像和事件数据，以应对低光照、过曝光、快速运动、遮挡等复杂场景。其次，构建过程中需要解决数据采集、标注和同步等问题，确保数据集的质量和多样性。COESOT数据集通过引入17种属性标注，详细评估了跟踪器在不同挑战环境下的性能。此外，研究团队还提出了一种新的评估指标BreakOut Capability score (BOC)，以更好地衡量跟踪算法在困难视频中的表现。这些挑战的解决不仅提升了数据集的质量，也为未来的研究提供了新的方向。

常用场景

经典使用场景

COESOT数据集的经典使用场景主要集中在多模态目标跟踪任务中，特别是在复杂环境下的目标跟踪。该数据集结合了彩色图像和事件相机数据，能够有效应对低光照、快速运动、遮挡等挑战性场景。通过提供大规模的彩色和事件数据对，COESOT为研究人员提供了一个统一的基准，用于评估和开发基于彩色和事件数据的多模态目标跟踪算法。

解决学术问题

COESOT数据集解决了当前多模态目标跟踪领域中数据稀缺的问题，特别是在彩色和事件数据融合的场景下。该数据集通过提供1354个视频序列，涵盖90个类别，极大地丰富了多模态跟踪的研究资源。此外，COESOT还引入了一种新的评估指标BOC（BreakOut Capability），用于更准确地评估跟踪算法在复杂场景中的表现，从而推动了多模态跟踪技术的进步。

实际应用

COESOT数据集在实际应用中具有广泛的潜力，特别是在需要高动态范围、低延迟和低功耗的场景中。例如，在自动驾驶、无人机导航、机器人视觉等领域，事件相机能够提供高动态范围和低延迟的视觉信息，而彩色相机则提供丰富的颜色和纹理信息。通过结合这两种数据源，COESOT数据集为开发更鲁棒的目标跟踪系统提供了重要的实验平台。

数据集最近研究