TGRDB

TGRDB是由浙江实验室智能机器人研究中心创建的大规模多人物跟踪数据集，专为导游机器人设计。该数据集包含约5.6小时的标注视频和超过450个长期轨迹，通过180度鱼眼RGB摄像头在室内导游场景中捕捉。数据集分为5个捕捉轮次，包括1个便装轮次和4个相同服装轮次，总计90个视频序列。每个视频帧都标注了全身和头部肩膀边界框以及唯一ID，总计超过320万个边界框和450个轨迹。TGRDB旨在推动服务机器人、长期多人物跟踪和细粒度人物再识别的研究进展。

TGRDB is a large-scale multi-person tracking dataset created by the Intelligent Robotics Research Center of Zhejiang Lab, specifically designed for tour-guide robots. This dataset contains approximately 5.6 hours of annotated videos and over 450 long-term trajectories, captured using 180-degree fisheye RGB cameras in indoor tour-guide scenarios. The dataset is divided into 5 capture sessions, including 1 casual clothing session and 4 identical clothing sessions, with a total of 90 video sequences. Each video frame is annotated with full-body and head-shoulder bounding boxes as well as unique IDs, amounting to over 3.2 million bounding boxes and 450 trajectories in total. TGRDB aims to advance research in service robots, long-term multi-person tracking, and fine-grained person re-identification.

搜集汇总

数据集介绍

构建方式

在服务机器人领域，尤其是在导览机器人场景中，对周围人群进行稳健的多目标跟踪至关重要。TGRDB数据集的构建旨在填补现有数据集与导览场景之间的鸿沟。该数据集通过搭载180度鱼眼RGB相机的移动机器人，在室内导览环境中采集了90个视频序列，总时长约5.6小时。采集过程分为18组，每组参与者完成5轮导览，包括一轮便服轮次和四轮同服轮次，以模拟真实场景中的衣着变化。每帧视频均标注了全身和头肩边界框以及唯一ID，共计超过320万个边界框和450条轨迹，确保了数据的多样性和挑战性。

特点

TGRDB数据集在导览机器人场景中展现出独特的特点。其核心在于模拟真实环境中的复杂挑战，包括频繁的遮挡、目标长期离开视野后重新出现，以及参与者穿着相同服装导致的细粒度识别困难。数据集不仅提供了全身边界框，还包含了头肩区域的精细标注，这为利用局部判别性特征（如发型、肤色）提供了可能。与现有数据集相比，TGRDB强调在整个导览期间保持ID的一致性，而非重新分配新ID，从而更贴合实际应用需求。这些特点使其成为推动服务机器人、长期多目标跟踪及细粒度人员再识别研究的重要资源。

使用方法

TGRDB数据集的使用方法紧密围绕其在导览机器人场景中的应用需求。研究者可利用该数据集开发和评估多目标跟踪算法，特别是在处理长期遮挡、衣着一致性和细粒度识别等挑战时。数据集已划分为训练集和测试集，便于模型训练与性能验证。此外，伴随数据集提出的TGRHOTA评估指标，通过仅考虑最近帧的真实正例匹配，更适用于导览场景中ID一致性的要求。用户还可以基于全身和头肩的双重标注，探索融合全局与局部信息的特征表示方法，以提升跟踪的鲁棒性和准确性。数据集的发布旨在促进相关领域的算法创新与性能提升。

背景与挑战

背景概述

在服务机器人日益融入人类密集环境的背景下，导览机器人（TGR）需具备鲁棒的多目标跟踪能力以实现安全、礼貌的服务。然而，现有多目标跟踪（MOT）或多行人跟踪（MPT）数据集（如MOTChallenge、KITTI等）主要面向视频监控或自动驾驶场景，其数据采集范式与评价指标均难以满足导览场景对长期身份一致性的严格要求。为此，浙江之江实验室智能机器人研究中心的研究团队于2022年发布了TGRDB数据集，旨在填补该领域大规模数据集的空白。该数据集通过搭载180度鱼眼相机的移动机器人在室内导览场景中采集，包含约5.6小时标注视频、超过320万个全身与头肩检测框及450条长期轨迹，并创新性地引入了相同衣着条件下的细粒度行人重识别挑战。TGRDB的发布为服务机器人、长期多行人跟踪及衣物无关行人重识别等领域的研究提供了关键数据支撑，推动了相关算法在真实复杂场景中的性能演进。

当前挑战

TGRDB数据集所应对的核心领域挑战在于导览场景下的长期多行人跟踪问题，其特殊性体现为：目标频繁相互遮挡、长时间离开视野后重现，且导览团体常穿着统一服饰，导致基于外观的行人重识别极为困难。现有跟踪算法在此类场景下面临身份一致性保持的严峻考验，传统评价指标（如HOTA、MOTA）因允许目标重现时分配新ID而无法有效衡量算法在长期跟踪中的性能。在数据集构建过程中，研究团队需克服多重挑战：为模拟真实导览的复杂性，设计了包含便装与统一着装的多轮采集流程，确保数据覆盖衣着变化与细粒度差异；针对鱼眼相机的大视角畸变，需精确标注全身与头肩双层次边界框以提供丰富特征信息；此外，为满足长期身份一致性要求，标注过程中必须保证同一目标在不同衣着条件下ID的严格统一，这对标注规范与质量控制提出了极高要求。

常用场景

经典使用场景

在服务机器人领域，尤其是在导览机器人（TGR）的应用场景中，TGRDB数据集为多目标跟踪（MOT）与多行人跟踪（MPT）研究提供了关键支持。该数据集通过模拟室内导览环境，捕捉了参与者穿着相同服装或日常服装时的复杂交互情况，涵盖了频繁遮挡、目标长时间离开视野后重新出现等挑战性场景。其经典使用场景在于评估和优化跟踪算法在真实导览任务中的鲁棒性，特别是在需要保持行人身份一致性（即ID不因遮挡或离开视野而改变）的长期跟踪任务中。

解决学术问题

TGRDB数据集主要解决了服务机器人视觉感知中的几个核心学术问题。首先，它填补了现有MOT数据集（如MOTChallenge、KITTI）与导览场景之间的鸿沟，这些数据集通常假设目标离开视野后重新出现时分配新ID，而导览场景要求在整个服务期间保持ID一致。其次，数据集通过包含相同服装和日常服装的多样化序列，推动了细粒度行人重识别（ReID）和衣物不一致ReID的研究，帮助算法在视觉特征相似的情况下实现更精准的身份关联。此外，伴随数据集提出的TGRHOTA评估指标，修正了传统指标（如HOTA、MOTA）在导览场景中的局限性，为长期跟踪任务的公平比较提供了科学依据。

衍生相关工作

TGRDB数据集的推出催生了一系列相关经典工作，尤其是在多行人跟踪和行人重识别领域。基于该数据集，研究者提出了TGRMPT跟踪系统，该系统创新性地整合了全身和头肩部信息，通过融合全局与局部特征增强了外观描述符的判别力，在导览场景中实现了先进的跟踪性能。此外，数据集激发了针对长期身份一致性的跟踪算法改进，例如对DeepSORT框架的适应性调整，如取消轨迹删除机制以应对长期目标丢失。在评估方面，TGRHOTA指标启发了后续研究对场景特定评估标准的重新思考，推动了如ByteTrack、CenterTrack等先进方法在导览场景中的优化与比较。这些工作共同推动了服务机器人视觉感知技术的精细化发展。