MouseSIS

MouseSIS数据集由柏林技术大学等机构创建，专注于时空实例分割任务，旨在解决视频中快速移动和恶劣条件下物体的跟踪和分割问题。数据集包含33个视频，总时长约640秒，涵盖了7只自由移动和互动的小鼠。数据集通过使用光束分离系统记录灰度帧和事件数据，提供了高质量的像素级实例分割掩码。该数据集的应用领域包括生物学和神经科学，旨在通过事件相机的优势提高跟踪算法的鲁棒性。

The MouseSIS dataset was created by institutions including the Technical University of Berlin, focusing on the spatio-temporal instance segmentation task and aiming to address the tracking and segmentation challenges of objects in videos with fast motion and under harsh conditions. The dataset comprises 33 videos with a total duration of approximately 640 seconds, covering 7 freely moving and interacting mice. High-quality pixel-level instance segmentation masks are provided in the dataset, which are obtained by recording grayscale frames and event data via a beam separation system. This dataset is applicable to the fields of biology and neuroscience, with the goal of improving the robustness of tracking algorithms by leveraging the advantages of event cameras.

搜集汇总

数据集介绍

构建方式

MouseSIS数据集的构建是通过在柏林的技术大学使用一个分光镜系统，该系统结合了一个帧相机和一个事件相机，从顶部视角记录了老鼠笼中的活动。记录过程包括两个亮度级别和相应的曝光时间调整，以模拟不同的光照条件。数据集包括33个视频序列，每个大约20秒长，包含像素对齐的灰度帧和事件数据。这些序列被半自动标注，首先以0.5秒的间隔手动标注，然后使用XMem模型进行实例分割的传播，并最终手动修正预测结果。数据集被随机分为训练集、验证集和测试集，比例约为70:10:20。

特点

MouseSIS数据集的主要特点是包含了像素级对齐的帧和事件数据，以及精确标注的实例分割掩码。数据集包括大约75000个实例掩码，共有157个时空实例。此外，数据集还提供了两个参考方法，用于评估空间时间实例分割任务（SIS）的性能。这些参考方法分别是基于检测的跟踪方法和基于SeqFormer架构的端到端学习方法。实验结果表明，使用事件数据可以显著提高跟踪性能，尤其是在结合传统相机数据时。

使用方法

使用MouseSIS数据集的方法涉及两个主要步骤：检测和跟踪。首先，检测模块应用于每个帧及其相应的事件数据。事件数据通过E2VID模型转换为灰度图像，然后使用YOLOv8对象检测模型进行处理。检测到的边界框被用作SAM模型的提示，以生成实例掩码。然后，在跟踪模块中，使用XMem模型预测下一个时间步长的对象位置，并将检测到的实例掩码与跟踪器进行匹配。对于基于SeqFormer的方法，输入整个序列的帧和E2VID图像，使用SeqFormer模型进行推理，并使用匈牙利匹配算法将相邻的跟踪片段关联起来。最后，通过非最大抑制（NMS）过滤掉冗余的掩码。

背景与挑战

背景概述

MouseSIS数据集的研究背景是在计算机视觉领域，特别是在视频实例分割任务中，研究人员致力于跟踪和分割视频中的物体。尽管近年来在视频实例分割方面取得了显著进展，但在退化条件和快速运动的情况下，算法仍然面临挑战。为了应对这些挑战，研究人员引入了一种新型的传感器——事件相机，它具有高时间分辨率和高动态范围，能够提供比传统相机更好的性能。然而，目前还没有为基于事件的掩码级跟踪算法开发的注释数据。为了解决这个问题，MouseSIS数据集被创建出来，它包含了对一组最多七只自由移动和相互作用的鼠标的像素级实例分割掩码。该数据集的创建时间是在2024年，主要研究人员来自柏林工业大学、柏林科学与智能卓越集群、德国机器人研究所、柏林自由大学、德国联邦风险评估研究所和柏林爱因斯坦数字未来中心。

当前挑战

MouseSIS数据集相关的挑战主要包括：1) 在退化条件和快速运动的情况下，跟踪和分割视频中的物体仍然面临挑战。2) 构建过程中遇到的挑战包括如何对事件相机和传统相机进行像素级对齐，以及如何注释大量数据。此外，由于事件相机和传统相机在成像原理上的差异，如何有效地利用事件数据来提高跟踪性能也是一个挑战。

常用场景

经典使用场景

MouseSIS数据集旨在支持空间时间实例分割任务，特别是在视频实例分割领域。该数据集包含了与事件数据对齐的灰度帧，以及一组自由移动和交互的小鼠的像素级实例分割掩码。这使得MouseSIS成为研究事件相机在视频实例分割任务中潜力的理想选择。研究者可以探索事件数据如何改善跟踪性能，特别是在与传统相机结合使用时。

实际应用

MouseSIS数据集的实际应用场景包括但不限于：1. 自动化行为量化，特别是在生态学和神经科学领域。2. 机器人领域，例如移动机器人和自动驾驶车辆中的场景理解。3. 视觉跟踪系统，尤其是在难以记录数据的情况下，例如低光照和快速运动。

衍生相关工作

MouseSIS数据集的发布为事件相机在视频实例分割任务中的应用开辟了新的研究方向。该数据集的发布将促进更多基于事件数据的研究，并推动事件相机在视觉跟踪领域的进一步发展。