PlanarTrack

PlanarTrack是一个用于平面目标跟踪的大规模、高质量且具有挑战性的基准数据集。该数据集由1150个视频序列组成，超过733K帧，包括1000个短期视频和150个新的长期视频，使得可以全面评估短期和长期跟踪性能。所有视频都是在野外无约束条件下录制的，这使得PlanarTrack更具挑战性，但更符合实际应用。为了确保高质量标注，每个视频帧都由四个角点手动标注，并经过多轮仔细检查和改进。PlanarTrack是目前为止最大的、最多样化和最具挑战性的平面跟踪数据集，专门用于促进平面跟踪研究的发展。PlanarTrack is a large-scale, high-quality and challenging benchmark dataset for planar object tracking. It comprises 1150 video sequences with over 733K frames, including 1000 short-term videos and 150 novel long-term videos, enabling comprehensive assessment of both short-term and long-term tracking performance. All videos are recorded under unconstrained in-the-wild conditions, which makes PlanarTrack more challenging yet more consistent with real-world applications. To ensure high-quality annotations, each video frame is manually annotated with four corner points, and has undergone multiple rounds of meticulous inspection and refinement. PlanarTrack is the largest, most diverse and most challenging planar tracking dataset to date, specifically dedicated to advancing the research on planar tracking.

原始信息汇总

PlanarTrack 数据集概述

数据集基本信息

• 数据集名称：PlanarTrack: A Large-scale Challenging Benchmark for Planar Object Tracking
• 发布会议：ICCV 2023
• 论文链接：https://arxiv.org/abs/2303.07625
• 官方网站：https://hengfan2010.github.io/projects/PlanarTrack/

数据集特点

• 规模：大规模挑战性基准数据集
• 标注方式：每个视频序列使用四个角点进行标注
• 应用领域：平面目标跟踪

数据获取方式

• 基准数据集下载：https://1drv.ms/u/s!AiNXDMvtaw5Jjg8Yjusmnybv3Slo?e=Fi0HS5
• 标注文件下载：
  • GoogleDrive：https://drive.google.com/file/d/1nn_vzy3TKiK0XokGOVFb7pd5RLk7FTGS/view?usp=sharing
  • OneDrive：https://1drv.ms/u/s!AiNXDMvtaw5JjhHD48MYDWpKT_oJ?e=wduAFp
• 跟踪结果文件下载：
  • GoogleDrive：https://drive.google.com/file/d/1nfrzF302yfdH8tzS5ujs4u4JGikcVvxX/view?usp=sharing
  • OneDrive：https://1drv.ms/u/s!AiNXDMvtaw5JjhKFNwTS7qLgMqlA?e=WOOPDh

使用方法

1. 下载并解压代码库
2. 下载标注文件并解压至 PlanarTrack/annotation/ 文件夹
3. 下载跟踪结果文件并解压至 PlanarTrack/tracking_result/ 文件夹
4. 在Matlab中运行 RunEvaluation.m 文件
5. 结果图将保存在 PlanarTrack/plots/ 文件夹

引用格式

bibtex @inproceedings{liu2023planartrack, title={PlanarTrack: A Large-scale Challenging Benchmark for Planar Object Tracking}, author={Liu, Xinran and Liu, Xiaoqiong and Yi, Ziruo and Zhou, Xin and Le, Thanh and Zhang, Libo and Huang, Yan and Yang, Qing and Fan, Heng}, booktitle={ICCV}, year={2023} }

致谢

• 感谢LaSOT和POT-210项目分享代码

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，平面目标跟踪作为增强现实与机器人技术的关键支撑，其发展长期受制于数据平台的规模限制。PlanarTrack通过真实场景采集构建了包含1,150个视频序列、总计73.3万帧的大规模数据集，采用移动设备在19类自然场景中录制视频，每个序列对应唯一平面目标以增强多样性。为确保标注质量，研发团队采用四角点人工标注机制，通过多轮验证-修正流程对每帧图像进行精细化标注，最终形成高密度标注的基准数据。

特点

该数据集在平面目标跟踪领域展现出三大核心特征：其挑战性体现在98.7%的序列同时包含透视畸变、尺度变化等多重挑战因素，模拟了真实场景的复杂性；多样性优势源于1,150个独立平面目标的覆盖范围，涵盖图片、屏幕、透明板等21个类别，远超现有数据集40个目标的规模；时序完整性通过引入150个长时序列得以强化，平均长度达1,622帧，其中包含4个超长序列，为长时跟踪算法评估提供了重要基础。

使用方法

针对深度学习驱动的研究需求，数据集采用805/345的标准训练测试划分，确保分布一致性。评估体系创新性地采用基于角点对齐误差的精度指标（P@5/P@15），规避了传统重投影误差对目标位置的敏感性。研究者可通过提取四角点坐标进行单应性矩阵估计，或利用衍生的PlanarTrackBB版本开展通用目标跟踪研究，该版本将角点标注转换为轴向对齐边界框，支持Transformer等现代跟踪架构的基准测试。

背景与挑战

背景概述

平面目标跟踪作为计算机视觉领域的基础任务，在增强现实与机器人技术中具有关键应用价值。PlanarTrack数据集由中国科学院软件研究所与北德克萨斯大学联合团队于2025年提出，旨在解决深度学习时代平面跟踪研究缺乏大规模基准平台的瓶颈。该数据集包含1,150个视频序列、逾73.3万帧图像，涵盖1,000个短期序列与150个新型长期序列，所有数据均采集自真实无约束环境。通过采用四角点人工标注与多轮校验机制，该数据集实现了标注质量与目标多样性的突破，每个序列均包含独立平面目标，显著推动了平面跟踪算法在复杂场景下的训练与评估进程。

当前挑战

在领域问题层面，PlanarTrack致力于解决平面目标跟踪中因目标快速运动、透视畸变与尺度变化导致的特征提取困难，以及长期跟踪中目标频繁消失与重现的稳定性挑战。构建过程中面临三大核心难题：真实场景数据采集需平衡光照交互表面与背景干扰的复杂性，高精度四角点标注需克服运动模糊与局部遮挡带来的视觉歧义，长期序列构建需确保目标在超长帧数下的运动轨迹连续性。这些挑战使得该数据集成为当前最具现实意义的平面跟踪评估基准。

常用场景

衍生相关工作

基于PlanarTrack衍生的经典研究包括WOFT算法，该工作通过加权光流估计实现单应性矩阵计算，在数据集的复杂场景测试中表现出色。HDN网络创新性地采用单应性分解策略，通过半监督学习提升了对挑战性条件的适应能力。同时衍生的PlanarTrackBB基准将四角点标注转换为轴向对齐边界框，促进了15种基于Transformer的通用跟踪器在平面类目标上的性能评估，揭示了刚性目标跟踪中的特殊挑战。这些工作共同推动了平面跟踪从传统方法向深度学习范式的转型。

数据集最近研究

最新研究方向

在计算机视觉领域，平面目标跟踪作为增强现实与机器人技术的关键支撑，近年来因深度学习方法的兴起而备受关注。PlanarTrack数据集的推出标志着该领域迈入大规模评估时代，其1150个序列与73.3万帧的高质量标注突破了传统数据集在规模与多样性上的局限。当前研究聚焦于三大前沿方向：一是针对低分辨率与光敏表面等复杂场景的鲁棒特征学习，通过时序信息建模（如光流网络）提升跟踪稳定性；二是探索长时跟踪机制，解决目标频繁消失与重现带来的空间偏移问题；三是推动通用跟踪器在刚性平面目标上的性能优化，PlanarTrackBB的评估显示现有算法在此类任务中仍存在显著性能衰减。这些进展不仅揭示了平面跟踪在真实环境中的挑战性，更为多模态融合与重检测策略等未来研究提供了重要基准。

相关研究论文

• PlanarTrack: A high-quality and challenging benchmark for large-scale planar object tracking

  中国科学院软件研究所, 中国科学院大学, 德克萨斯大学北分校计算机科学与工程学院 · 2025年