FMOX

FMOX是一个综合和扩展的数据集，由四个公开的快速移动物体(FMOs)图像序列数据集组成，包括Falling Objects、FMOv2、TbD和TbD-3D。这些数据集通过一个简化的JSON格式进行编码，使机器学习的数据加载器和管道能够更容易地处理整个统一的数据集。FMOX还提供了物体大小类别作为额外的标签，旨在增强数据集对不同研究应用的适用性。FMOX旨在解决快速和小型物体跟踪的挑战，为相关研究提供基准数据集。

FMOX is a comprehensive and expanded dataset composed of four publicly available fast-moving object (FMOs) image sequence datasets, namely Falling Objects, FMOv2, TbD, and TbD-3D. These datasets are encoded in a simplified JSON format, which enables machine learning data loaders and pipelines to process the entire unified dataset more easily. FMOX additionally provides object size categories as supplementary labels, aiming to enhance the applicability of the dataset across diverse research applications. FMOX is designed to address the challenges of fast and small object tracking, providing a benchmark dataset for relevant research.

原始信息汇总

数据集概述

数据集名称

Fast Moving Object (FMO) Deblurring Benchmark

数据集组成

• TbD数据集
• TbD-3D数据集
• Falling Objects数据集

数据集用途

用于评估快速移动物体(FMO)去模糊方法

数据获取方式

通过运行bash脚本下载所有三个数据集（需修改数据存储文件夹路径）： bash bash download_datasets.sh

评估方法要求

输入参数：

• 图像 I [w, h, 3]
• 背景 B [w, h, 3]
• 近似FMO位置的边界框
• 生成的子帧数量 n（时间超分辨率）
• 近似物体尺寸

输出要求：

• 时间超分辨率迷你视频 [w, h, 3, n]
• 可选：子帧物体轨迹 [2, n] 或 None

基准方法

虚拟基线

• 始终输出输入图像的基线
• 始终输出背景图像的基线

Deblatting方法

• 经典deblatting（单外观，TbD）
• 变化外观deblatting（TbD-3D）
• 轨迹先知deblatting（TbD-O）

DeFMO方法

当前最先进方法，可通过Kornia库或原始源代码评估

性能评估指标

• TIoU（时间交并比）
• PSNR（峰值信噪比）
• SSIM（结构相似性指数）

数据集特点

Falling Objects数据集

• 任意形状和纹理的物体

TbD-3D数据集

• 主要为球形但纹理显著的物体
• 在3D空间中移动

TbD数据集

• 主要为球形和均匀着色的物体
• 在平行于相机平面的平面中移动

引用文献

主要出版物：https://arxiv.org/abs/2012.00595

基准TbD方法：ICCVW 2019

基准TbD-3D/TbD-O方法：CVPR 2020

相关研究：CVPR 2017

搜集汇总

数据集介绍

构建方式

FMOX数据集通过整合四个现有快速移动物体数据集（Falling Object、FMOv2、TbD和TbD-3D）构建而成，采用统一的JSON格式进行元数据编码。该构建过程涉及将原始数据集中不同格式的标注（如文本注释、分割掩码和Matlab文件）转换为标准化的边界框坐标（x1, y1, x2, y2）和物体尺寸类别。具体而言，FMOv2的对象掩码通过OpenCV轮廓检测处理，TbD利用轨迹文本注释，而Falling Object和TbD-3D则借助现有代码库的数据加载组件实现转换，确保了数据的一致性和可访问性。

特点

FMOX数据集专注于快速移动和小型物体的追踪任务，其核心特点包括多源数据融合与标准化标注。数据集涵盖多种物体类型（如球体、飞盘、立方体等）和运动场景（体育、自由落体等），并提供详细的物体尺寸分类（从极微小到大型）。此外，数据集特别强调了运动模糊和物体位移的挑战性场景，其中快速移动物体在连续帧中的边界框重叠率接近零，位移范围均匀分布在0-150像素之间，这为评估追踪算法在复杂动态环境中的鲁棒性提供了重要基准。

使用方法

FMOX数据集的使用需通过其JSON格式元文件加载，该文件结构清晰，包含图像路径、边界框坐标和尺寸类别等信息。研究人员可利用标准数据加载器（如Python的JSON库）快速解析数据，并集成到机器学习管道中。数据集支持初始化基于边界框或中心点的物体追踪，例如在EfficientTAM等模型中，通过第一帧的标注初始化追踪目标，并在后续帧评估性能。评估指标采用轨迹交并比（TIoU），用户可通过提供的代码计算分数，同时需注意处理运动模糊帧和多物体场景的初始化挑战。

背景与挑战

背景概述

FMOX数据集由爱尔兰梅努斯大学计算机科学系Senem Aktas等研究人员于2025年提出，旨在解决计算机视觉领域中快速移动小目标（FMOs）的追踪难题。该数据集整合了四个现有FMO数据集（Falling Object、FMOv2、TbD和TbD-3D），通过统一的JSON元数据格式提供标准化标注，包含目标尺寸分类和运动轨迹信息。FMOX的建立填补了快速小目标追踪领域标准化数据集的空白，为评估通用追踪模型在极端运动条件下的性能提供了重要基准。

当前挑战

在领域问题层面，FMOX需应对快速移动小目标因运动模糊导致的形态失真、低图像覆盖率造成的特征稀缺，以及背景干扰增强等核心挑战。构建过程中面临多源数据集标注格式异构（包括文本标注、分割掩码和Matlab格式）的整合难题，需通过OpenCV轮廓检测等技术实现标注统一化。此外，高运动模糊帧导致的目标初始化失败、多目标实例缺乏唯一标识等问题，也增加了数据标准化和模型评估的复杂性。

常用场景

经典使用场景

在计算机视觉领域，FMOX数据集主要应用于快速运动物体的追踪与检测研究。该数据集通过整合四个开源FMO数据集并附加标准化JSON元数据，为算法提供了统一的评估基准。其经典使用场景包括测试目标跟踪模型在高速运动条件下的性能表现，特别是在处理运动模糊、小目标可见度低等挑战时的鲁棒性评估。

解决学术问题

FMOX数据集解决了快速运动物体研究中标注格式不统一、评估标准缺失的核心问题。通过提供包含目标尺寸分类和轨迹信息的标准化注释，它支持对小目标检测、运动模糊处理、跨帧目标关联等关键学术问题的量化分析。其提出的轨迹交并比（TIoU）指标为FMO追踪性能提供了可复现的评估框架，推动了该领域的标准化进程。

衍生相关工作

FMOX数据集催生了多项经典研究工作，包括基于EfficientTAM的通用目标追踪框架在FMO场景的适应性验证。相关研究还拓展到运动去模糊算法（如DeFMO）、多目标追踪关联技术，以及结合深度估计的6D姿态恢复方法。这些工作显著推进了快速运动物体在三维空间中的轨迹重建与动态分析能力。