TPT-Bench

TPT-Bench是一个大规模、长期且以机器人为中心的数据集，用于基准测试目标人员跟踪。

TPT-Bench is a large-scale, long-term, robot-centric dataset designed for benchmarking person target tracking.

原始信息汇总

TPT-Bench数据集概述

基本信息

• 名称: TPT-Bench
• 类型: 大规模、长期、以机器人为中心的基准数据集
• 用途: 目标人物跟踪（Target Person Tracking）的基准测试
• 状态: 正在审核中
• 相关论文: arXiv:2505.07446
• 官网: TPT-Bench官网
• 演示视频: YouTube视频

数据集下载与组织

下载链接

• One Drive:
  • TPT-Bench, 提取码: rcvtptbench
  • rosbags (0000-0025), 提取码: rpfrosbag123!
  • rosbags (0026-0047), 提取码: rpfrosbag123!
• 百度云:
  • TPT-Bench, 提取码: pf25
  • rosbags, 提取码: hj25

数据集结构

bash TPT-Bench/ ├── panoramic_images/ # 全景图像 ├── GTs/ # 真实标注 ├── rosbags/ # ROS数据包 ├── descriptions/ # 序列描述 ├── quickview_videos/ # 快速预览视频 ├── evaluation_results/ # 评估结果 └── LICENSE.txt # 许可证文件

工具与使用

安装

• 环境: Ubuntu 20.04, Python 3.7.16
• 安装步骤: bash git clone https://github.com/MedlarTea/TPT-BENCH-TOOLS conda create -n tptbench python==3.7.16 conda activate tptbench pip install -r requirements.txt python setup.py install

主要功能

1. 评估基线结果: bash python evaluate_baselines.py --dataset_dir /path/to/TPT-Bench

2. 全景图像转柱面图像: bash python sphere_to_cylinder.py --dataset_dir /path/to/TPT-Bench --sequence_name 0015 --frame_index 20

3. ROS数据包处理: bash python write_bag_to_data.py --dataset_dir /path/to/TPT-Bench --sequence_name 0015 --zed_path_odom

4. LiDAR点云投影: bash python visualize_depthmap.py --dataset_dir /path/to/TPT-Bench --sequence_name 0015 --frame_index 20 --camera_type theta_camera

5. 地面目标跟踪: bash python tracking_on_ground_plane.py --dataset_dir /path/to/TPT-Bench --sequence_name 0015

评估跟踪结果

• 格式要求: JSON文件，包含时间戳和目标的边界框信息。
• 示例格式: json { "timestamp": { "target_info": [u_top_left, v_top_left, width, height, target_confidence] } }

注意事项

• 缺失数据: 0002.bag缺少LiDAR和ZED记录。
• 推荐下载: 0015.bag是最小的数据包，适合初步尝试。

引用

bibtex @article{ye2025tpt, title={TPT-Bench: A Large-Scale, Long-Term and Robot-Egocentric Dataset for Benchmarking Target Person Tracking}, author={Ye, Hanjing and Zhan, Yu and Situ, Weixi and Chen, Guangcheng and Yu, Jingwen and Zhao, Ziqi and Cai, Kuanqi and Arash, Ajoudani and Zhang, Hong}, journal={arXiv preprint arXiv:2505.07446}, year={2025} }

搜集汇总

数据集介绍

构建方式

TPT-Bench数据集通过机器人中心视角采集多模态数据，构建过程融合了全景图像、激光雷达点云及ZED相机记录。数据采集采用序列化组织方式，每个序列包含时间戳对齐的全景图像、传感器原始数据及人工标注的真值文件。针对硬件故障导致的局部数据缺失，研究团队通过严格的质量控制流程确保数据完整性，并提供了详细的序列描述文档。

特点

作为机器人目标追踪领域的基准数据集，TPT-Bench具备大规模、长期追踪和机器人中心视角三大特征。数据集包含47个序列的跨场景数据，全景图像与激光雷达的空间同步精度达到毫米级。其独特的球形视觉-点云投影机制支持多模态融合分析，每个序列配备的快速预览视频和评估结果文件为算法开发提供直观参考。

使用方法

使用者可通过提供的Python工具链实现数据解析与算法评估。核心功能包括球形图像柱面投影转换、激光雷达点云可视化投影、地面平面追踪等。评估阶段需按照指定JSON格式提交追踪结果，脚本将自动计算目标边界框精度与置信度指标。为降低使用门槛，数据集推荐从最小测试序列0015开始验证算法可行性。

背景与挑战

背景概述

TPT-Bench数据集由Hanjing Ye等研究人员于2025年提出，旨在为目标人物追踪任务提供大规模、长期且以机器人为中心的基准数据。该数据集由多个机构合作开发，聚焦于机器人视觉领域中的核心问题——如何在复杂动态环境中实现精准且鲁棒的目标人物追踪。通过融合全景图像、激光雷达点云和机器人里程计等多模态数据，TPT-Bench为相关算法研究提供了丰富的真实场景验证平台，显著推动了服务机器人、安防监控等应用领域的技术发展。

当前挑战

目标人物追踪领域长期面临动态遮挡、光照变化和目标外观多样性等固有挑战，TPT-Bench通过构建包含47个序列的多样化场景数据，为解决这些难题提供了实验基础。在数据构建过程中，研究团队需克服多传感器时空同步、全景图像标注一致性以及长期追踪数据采集等工程难题，其中硬件故障导致的部分数据缺失（如0002.bag的LiDAR数据）也反映了实际数据采集的复杂性。数据集采用的机器人中心坐标系和全景视觉模态，进一步增加了数据标注与算法适配的技术难度。

常用场景

经典使用场景

在机器人视觉与目标跟踪领域，TPT-Bench数据集以其大规模、长期性和机器人中心视角的特性，成为评估目标人物跟踪算法的黄金标准。该数据集通过全景图像、激光雷达点云和多模态传感器数据，为研究者提供了丰富的场景覆盖，特别适用于复杂动态环境下的目标跟踪任务。经典使用场景包括机器人辅助的老人护理、商场导购机器人的人流跟踪，以及公共场所的安全监控系统开发。

解决学术问题

TPT-Bench有效解决了目标跟踪领域长期存在的三大挑战：跨模态数据融合的精度验证、长期跟踪中的目标丢失问题，以及机器人移动视角下的动态场景适应。通过提供精确的时空同步标注数据和多样化环境样本，该数据集显著提升了算法在遮挡处理、光照变化和视角变换等复杂条件下的鲁棒性评估能力，为相关领域的基准测试建立了新的范式。

衍生相关工作

基于TPT-Bench的开放特性，已衍生出多项创新研究，包括多传感器融合的实时跟踪框架PanTrack、基于时空注意力机制的长期记忆网络LTM-Tracker等。这些工作不仅刷新了数据集本身的性能基准，更推动了跨模态学习、增量式目标建模等前沿方向的发展，其中部分成果已转化为ROS生态中的标准功能包。