TPT-Bench

TPT-Bench是一个大规模、长期、多模态和机器人自传视角的目标人物跟踪数据集，强调在多样化和拥挤的环境中频繁目标消失等长期跟踪挑战。该数据集由一个人推动装有传感器的手推车跟随目标人物收集，捕获了类似人类的跟随行为，并在室内外35个序列中全面标注了目标人物的2D边界框。数据集包括里程计、3D激光雷达、IMU、全景和RGB-D图像等多模态数据流，旨在解决机器人与人类交互（HRI）和具身人工智能中的长期目标人物跟踪问题。

TPT-Bench is a large-scale, long-term, multimodal robotic egocentric target person tracking dataset that highlights long-term tracking challenges such as frequent target disappearances in diverse and crowded environments. Collected by a human operator pushing a sensor-equipped trolley to follow the target person, this dataset captures human-like following behaviors, and provides comprehensive 2D bounding box annotations for the target person across 35 indoor and outdoor sequences. The dataset encompasses multimodal data streams including odometry, 3D LiDAR, IMU, panoramic images, and RGB-D images, and is designed to address long-term target person tracking problems in human-robot interaction (HRI) and embodied artificial intelligence.

原始信息汇总

TPT-Bench: 大规模长期机器人中心视角目标人物追踪基准数据集

数据集概述

• 全称: TPT-Bench: A Large-Scale, Long-Term and Robot-Egocentric Dataset for Benchmarking Target Person Tracking
• 研究团队:
  • Hanjing Ye1, Yu Zhan1, Weixi Situ1, Guangcheng Chen1, Jingwen Yu1
  • Kuanqi Cai2
  • Hong Zhang1
• 机构:
  • 1RCV Lab, Southern University of Science and Technology
  • 2HRI Lab, Italian Institute of Technology

核心特点

• 应用场景: 面向人机交互(HRI)和具身AI的个性化机器人辅助/协作场景
• 数据优势:
  • 大规模、长期、机器人中心视角
  • 覆盖拥挤和非结构化环境
  • 模拟真实人类跟随行为
• 挑战特性:
  • 长期跟踪挑战
  • 频繁遮挡
  • 大量行人干扰下的重识别需求

数据内容

• 模态:
  • 里程计
  • 3D LiDAR
  • IMU
  • 全景图像
  • RGB-D图像
• 标注:
  • 35个序列(室内外场景)
  • 详尽的目标人物2D边界框标注

实验贡献

• 基于该数据集对现有TPT方法进行广泛实验
• 提供方法局限性分析
• 提出未来研究方向建议

搜集汇总

数据集介绍

构建方式

TPT-Bench数据集通过配备多模态传感器的推车在多样化拥挤环境中收集数据，模拟真实人机跟随场景。数据采集平台集成了全景相机、立体相机、3D激光雷达和IMU等传感器，以30Hz频率同步记录机器人本体运动与周围环境信息。研究团队在校园及公共场所35个不同场景中，通过人工推车跟随目标人员的方式，获取了包含食堂、十字路口、教室、市场等复杂场景的3.35小时连续数据流。所有视觉数据均按照LaSOT标准进行人工标注，特别针对目标人物的频繁消失和再现场景进行了精细化标注，最终形成包含2D边界框、存在状态及环境元数据的完整标注体系。

特点

该数据集显著区别于传统跟踪基准的三大特征：首先，其特有的机器人本体视角数据真实模拟了服务机器人在人群中的感知局限，包含大量部分遮挡、运动模糊及视角突变场景；其次，数据平均序列长度达394秒，目标平均消失次数38.8次/序列，最长消失间隔超过200秒，极端测试了算法的长期跟踪与重识别能力；最后，多模态同步采集的3D激光点云、IMU与视觉数据，为跨模态跟踪算法研究提供了独特的基础设施。数据集特别设计的拥挤场景中平均每帧存在10.6个干扰者，目标边界框面积中位数仅104.8像素，这些特性共同构成了当前最具挑战性的长期目标跟踪测试平台。

使用方法

研究者可通过官方发布的ROSBAG格式数据包获取同步多模态数据流，其中全景相机图像已包含精细标注的目标边界框与存在状态标签。基准测试提供三种评价模式：基于F-Score的综合跟踪性能评估，强调100%精确率下的最大召回率(AMR)的机器人安全指标，以及可见帧平均重叠率(AO)的短期跟踪精度分析。使用建议包括：1)利用激光雷达点云补偿视觉遮挡场景；2)结合odometry数据建模机器人运动约束；3)针对长期消失场景开发记忆增强型重识别模块。数据集已划分标准训练测试子集，支持端到端跟踪算法训练与在线学习方法的验证。

背景与挑战

背景概述

TPT-Bench是由南方科技大学和意大利理工学院的研究团队于2025年提出的一个大规模、长期跟踪、机器人自我中心视角的数据集，专注于目标人物跟踪（Target Person Tracking, TPT）任务。该数据集通过模拟机器人跟随目标人物的真实场景，在多样化的拥挤环境（如食堂、十字路口、教室、市场等）中收集多模态数据，包括里程计、3D LiDAR、IMU、全景图像和RGB-D图像等。TPT-Bench的核心研究问题是解决在复杂环境中长期、稳定地跟踪目标人物的挑战，填补了现有数据集在机器人自我中心视角和长期跟踪能力上的空白。该数据集对机器人自主导航、人机交互（HRI）和具身智能（Embodied AI）领域的研究具有重要影响力。

当前挑战

TPT-Bench面临的挑战主要包括两个方面：1) 领域问题的挑战：目标人物跟踪任务在复杂环境中面临频繁遮挡（Partial Occlusion, PO）、目标消失（Disappearance, Disp.）、光照变化（Lighting Change, LC）、衣物变化（Clothes Change, CC）以及运动模糊（Motion Blur）等问题，尤其是在拥挤场景中需要从众多行人中重新识别目标人物。2) 构建过程的挑战：数据采集需要在真实环境中模拟机器人跟随行为，同时确保多模态传感器数据的同步和校准；标注过程中需处理长期跟踪带来的目标消失和重现问题，标注的准确性和一致性要求较高。此外，数据集的多样性和规模也对存储和计算资源提出了较高要求。

常用场景

经典使用场景

TPT-Bench数据集在机器人目标人跟踪领域具有广泛的应用价值，尤其在复杂拥挤环境下的长期跟踪任务中表现突出。该数据集通过模拟真实场景中的机器人跟随行为，为研究者提供了丰富的多模态数据，包括全景图像、3D LiDAR点云、IMU数据和RGB-D图像等。这些数据不仅涵盖了目标人在不同环境下的运动轨迹，还包含了频繁遮挡、光照变化、衣物更换等多种挑战性场景，为算法性能评估提供了全面基准。

衍生相关工作

TPT-Bench数据集已经衍生出多个相关研究工作，特别是在目标人跟踪算法的性能评估和改进方面。基于该数据集，研究者提出了多种结合多目标跟踪（MOT）和目标重新识别（ReID）的方法，如RPF-ReID和CARPE-ID等。这些工作不仅提升了算法在长期跟踪任务中的表现，还为机器人视觉感知领域的发展提供了新的研究方向。此外，该数据集还被用于评估现有单目标跟踪（SOT）算法在复杂场景下的适应性，推动了跟踪算法的跨领域应用。

数据集最近研究

最新研究方向

近年来，TPT-Bench数据集在人机交互（HRI）与具身智能（Embodied AI）领域引发了广泛关注。该数据集聚焦于机器人视角下的长期目标人物追踪，通过多模态传感器在复杂拥挤环境中采集数据，填补了传统追踪数据集在动态遮挡、目标重识别等场景的空白。前沿研究主要围绕三个方向展开：一是基于深度学习的多目标追踪（MOT）与目标重识别（ReID）的融合架构优化，如RPF-ReID框架通过在线持续学习提升特征判别力；二是针对遮挡频繁场景的长时记忆建模，探索时序特征融合与注意力机制的结合；三是跨模态协同感知，利用LiDAR点云与RGB-D数据增强低光照条件下的鲁棒性。2024年国际机器人大会（ICRA）的多项研究表明，该数据集推动了机器人陪伴、社会导航等应用在真实场景中的落地，其标注的2D边界框与3D轨迹数据已成为评估追踪算法长期性能的新基准。

相关研究论文

• TPT-Bench: A Large-Scale, Long-Term and Robot-Egocentric Dataset for Benchmarking Target Person Tracking

  南方科技大学, 意大利理工学院 · 2025年