ITTO

ITTO是一个具有挑战性的新基准套件，用于评估和诊断跟踪点跟踪方法。我们的视频来源于现有数据集和自我中心真实世界记录，通过多阶段流程收集高质量的人工标注。ITTO捕捉了真实世界场景特有的运动复杂性、遮挡模式和对象多样性。我们提供：1.基准数据集：一个具有新颖运动复杂性的长距离和真实世界跟踪基准，用于评估最先进的跟踪方法；2.评估：一个严格的评估协议，沿着定义的运动复杂性轴；3.标注流程：一个即插即用的标注流程，用于收集高质量的视频跟踪标注。

ITTO is a challenging new benchmark suite for evaluating and diagnosing point tracking methods. Our videos are sourced from existing datasets and egocentric real-world recordings, with high-quality manual annotations collected via a multi-stage pipeline. ITTO captures the motion complexity, occlusion patterns, and object diversity unique to real-world scenarios. We provide: 1. Benchmark Dataset: A long-range, real-world tracking benchmark with novel motion complexity, designed for evaluating state-of-the-art tracking methods; 2. Evaluation: A rigorous evaluation protocol along defined axes of motion complexity; 3. Annotation Pipeline: A plug-and-play annotation pipeline for collecting high-quality video tracking annotations.

原始信息汇总

ITTO 数据集概述

数据集基本信息

• 数据集名称：Is This Tracker On? A Benchmark Protocol for Dynamic Tracking (ITTO)
• 发布状态：已发布（2025年9月30日）
• 学术认可：NeurIPS 2025 会议接受
• 许可证：CC BY-NC 4.0（仅限学术和研究用途，禁止商业使用）

数据集特点

• 定位：用于评估和诊断跟踪点跟踪方法的挑战性基准套件
• 视频来源：现有数据集和以自我为中心的真实世界录制
• 标注质量：通过多阶段流程收集的高质量人工标注
• 核心特征：
  • 捕捉真实世界场景的运动复杂性
  • 包含遮挡模式
  • 涵盖对象多样性

数据集组成

1. 基准数据集：具有新颖运动复杂性的长距离真实世界跟踪基准
2. 评估协议：基于定义的运动复杂性轴的严格评估协议
3. 标注流程：用于收集高质量视频跟踪标注的即插即用标注流程

模型评估支持

• 支持模型：
  • CoTracker3
  • DELTA
  • LocoTracker
  • SceneTracker
  • SpatialTracker
  • TapNet/TapNext/BootsTAP/BootsTAPIR
  • TapTr

资源链接

• 官方网站：https://glab-caltech.github.io/ITTO/
• 数据集地址：https://huggingface.co/datasets/demalenk/itto-dataset
• 论文链接：https://arxiv.org/abs/2510.19819

引用格式

bibtex @inproceedings{Demler_2025_Neurips, author = {Demler, Ilona and Chauhan, Saumya and Gkioxari, Georgia}, title = {Is This Tracker On? A Benchmark Protocol for Dynamic Tracking}, booktitle = {39th Conference on Neural Information Processing Systems (NeurIPS 2025) Track on Datasets and Benchmarks}, month = {December}, year = {2025}, pages = {19446-19455} }

搜集汇总

数据集介绍

构建方式

在动态跟踪研究领域，ITTO数据集通过多阶段标注流程构建而成。其视频素材源自现有数据集及真实世界的第一人称视角录像，采用严格的人工标注机制确保数据质量。该流程充分捕捉了现实场景中复杂的运动模式、遮挡现象以及多样化的目标对象，为长距离跟踪任务提供了可靠的基准数据。

特点

该数据集最显著的特征在于其运动复杂度的系统化设计，通过精心设计的评估轴线实现对跟踪方法的深度诊断。视频序列涵盖丰富的现实场景动态特性，包括非刚性形变、光照突变等挑战性因素。其标注体系支持对跟踪器失效模式的细粒度分析，为算法鲁棒性研究提供了重要支撑。

使用方法

研究人员可通过HuggingFace平台获取数据集完整资源，配套的数据加载器支持快速集成现有算法框架。评估脚本包含对CoTracker3、DELTA等主流跟踪模型的标准化测试流程，用户可通过修改配置文件实现自定义评估。该协议支持跟踪精度与稳定性的多维量化分析，为算法改进提供明确方向。

背景与挑战

背景概述

在计算机视觉领域，动态目标跟踪技术长期面临复杂场景下鲁棒性不足的瓶颈。ITTO基准数据集由加州理工学院研究团队于2025年创建，作为NeurIPS 2025会议收录的基准协议，其核心研究聚焦于解决长序列视频中跟踪点的运动复杂性与遮挡模式等关键问题。该数据集融合现有公开数据集与第一视角实景录像，通过多阶段人工标注流程构建，为评估CoTracker3、DELTA等前沿跟踪算法提供了标准化测试平台，显著推动了动态跟踪领域的量化研究进程。

当前挑战

动态跟踪领域长期受限于复杂运动轨迹建模与持续遮挡处理的固有难题，ITTO通过设计运动复杂度量化轴心与真实场景多样性采样直面这些挑战。在构建过程中，研究团队需克服多源视频数据时空一致性对齐的技术障碍，同时建立兼顾标注效率与质量的人工验证管道，确保在极端运动模式与部分遮挡情境下仍能维持标注轨迹的时空连续性。

常用场景

经典使用场景

在计算机视觉领域，动态目标跟踪技术长期面临着复杂运动模式与遮挡场景的挑战。ITTO数据集通过整合现有数据集与真实世界第一视角录像，构建了涵盖多样化运动轨迹与遮挡模式的长序列跟踪基准。其经典应用场景包括评估CoTracker3、DELTA等先进跟踪模型在复杂动态环境下的鲁棒性，为研究者提供标准化测试平台以验证跟踪算法在真实场景中的持续性与准确性。

解决学术问题

该数据集有效解决了动态跟踪研究中长期存在的三个核心问题：针对运动复杂度的量化评估缺失，通过定义轴向运动复杂度指标建立系统化评估体系；针对遮挡场景下跟踪中断的难题，提供高质量人工标注数据以优化模型抗遮挡能力；针对现有基准缺乏现实多样性的局限，融合多源视频数据推动跟踪算法向实际应用场景迁移。这些突破显著提升了跟踪方法在学术研究中的可复现性与可比性。

衍生相关工作

基于ITTO基准协议，学术界已衍生出多类创新研究。部分工作聚焦于改进标注流程，开发出适配动态场景的半自动标注工具链。另有研究受其运动复杂度评估体系启发，提出了新型时空一致性损失函数以增强模型泛化能力。在架构设计层面，该数据集推动了如LocoTracker等融合运动先验知识的混合式跟踪器发展，同时催生出针对长序列处理的记忆增强网络结构，持续拓展着动态跟踪技术的前沿边界。