Text-to-Video Person Re-identification (TVPReid) dataset

TVPReid数据集由南京工业大学创建，包含1734个视频，总大小为2.06G，源自PRID2011和iLIDS-VID两个现有数据集。每个视频配有两个不同的文本描述，共计3468个描述句，涵盖多种场景、视角和摄像机规格，增强了视频内容的多样性。数据集创建过程中，通过OpenCV合成了视频，并去除了相似样本。TVPReid数据集主要用于文本到视频的人物检索研究，旨在通过视频中的连续帧提供更丰富的动态信息，解决文本到图像人物检索中因孤立帧导致的性能限制问题。

The TVPReid dataset, developed by Nanjing Tech University, consists of 1734 videos with a total size of 2.06 GB, and is sourced from two existing datasets: PRID2011 and iLIDS-VID. Each video is paired with two unique textual descriptions, yielding a total of 3468 descriptive sentences. The dataset covers diverse scenarios, viewpoints and camera specifications, which further enhances the diversity of video content. During the dataset construction process, videos were synthesized using OpenCV, and similar samples were removed. Primarily intended for text-to-video person retrieval research, the TVPReid dataset aims to provide richer dynamic information via consecutive frames in videos, so as to address the performance limitations caused by isolated frames in text-to-image person retrieval.

搜集汇总

数据集介绍

构建方式

TVPReid数据集的构建源于对现有视频行人重识别数据集的深度整合与扩展。研究团队从PRID-2011和iLIDS-VID两个公开数据集中采集了1734个行人视频片段，利用OpenCV将同一视角下同一行人的连续帧合成为完整视频，并剔除了相似样本。为赋予视频丰富的语义信息，每个视频均配有两句独立的人工标注自然语言描述，涵盖行人的外观、动作及其与环境的交互，最终形成了3468条描述语句。数据集按照0.6:0.05:0.35的比例划分为训练集、验证集和测试集，确保了评估的标准化与可复现性。

特点

该数据集的核心特色在于其跨模态与动态信息的深度融合。与传统的基于静态图像的行人检索数据集不同，TVPReid通过连续视频帧提供了丰富的时空信息，有效克服了单帧图像中行人被遮挡或动作细节缺失的局限。数据集涵盖多种场景、视角与摄像头规格，增强了视频内容的多样性。描述语句平均长度达30个词，词汇量丰富，包含1072个独特词汇，能够细致刻画行人的外观变化、运动序列及复杂交互行为，为文本到视频的行人检索任务提供了首个大规模、高质量的基准。

使用方法

使用TVPReid数据集进行模型训练与评估时，研究者需将视频输入与文本描述对齐。典型方法如TVPRN网络，首先通过视觉编码器（如ViT）提取视频的视觉表征，并利用运动编码器（如S3D）捕获动态特征，随后通过特征融合聚合器将二者整合为统一的视频表示。文本描述则通过预训练的BERT模型编码为语义向量。最终，通过关系层计算视频与文本之间的相似度得分，依据得分排序实现检索。评价指标采用Recall@N和Median Rank，以衡量模型在不同排名阈值下的检索精度。

背景与挑战

背景概述

文本到视频行人重识别（Text-to-Video Person Re-identification, TVPReid）数据集由南京工业大学的研究团队于2023年创建，旨在解决传统文本到图像行人检索中因孤立帧缺乏动态信息而导致的性能瓶颈。该数据集由1734段行人视频和3468条自然语言描述组成，视频来源于PRID-2011和iLIDS-VID两个现有数据集，覆盖多样化的场景、视角和相机规格。TVPReid是首个以自然语言描述行人视频的大规模基准，其核心研究问题在于如何利用视频的时空连续性克服临时遮挡与运动细节缺失，从而提升跨模态行人检索的鲁棒性。该数据集的发布为文本到视频行人检索领域提供了关键评估标准，推动了多模态信息融合与视频理解技术的发展。

当前挑战

TVPReid数据集面临的核心挑战包括：首先，领域问题层面，文本到图像检索中孤立帧无法捕捉行人的动态行为与环境交互，导致在遮挡或复杂运动描述下检索准确率低下，而视频虽能提供连续时空信息，但如何有效融合视觉与运动特征以抵抗冗余信息干扰仍是难题。其次，构建过程中，视频数据需从现有行人重识别数据集的轨迹片段中合成，并去除相似样本，同时确保每段视频配有两句详细描述，涵盖外观、动作与环境交互，这要求标注者具备高度一致性，且平均句子长度达30词，词汇量丰富，增加了标注难度与成本。此外，数据集规模相对有限，需在跨场景泛化与模型过拟合之间取得平衡。

常用场景

经典使用场景

在跨模态行人检索领域，传统方法多聚焦于文本到图像的匹配，但孤立帧图像难以捕捉动态遮挡与运动细节。TVPReid数据集开创性地将视频序列与自然语言描述相结合，为文本到视频的行人检索任务提供了首个标准化基准。该数据集包含1734段行人视频及3468条详细文本描述，覆盖不同场景、视角与相机规格，可用于训练和评估模型在连续帧中利用时空信息匹配行人外观、动作及环境交互的能力。其经典使用场景是作为评估文本-视频跨模态检索算法性能的核心平台。

实际应用

在实际应用中，TVPReid数据集支撑的文本到视频行人检索技术可部署于智能视频监控系统，例如在公共安防场景中，安保人员通过自然语言描述目标行人的衣着、动作及行为模式（如“穿红色上衣、背黑色包、正与人交谈后离开”），系统即可从海量监控视频中快速定位相关片段。此外，该技术还可用于影视素材检索、社交媒体视频内容管理以及人机交互场景，提升基于语义的视觉搜索效率与准确性。

衍生相关工作

TVPReid数据集衍生了一系列重要学术工作，最典型的是作者提出的TVPRN网络，该模型通过视觉编码器（ViT）提取帧级空间特征、运动编码器（S3D）捕获时序动态信息，并设计特征融合聚合器以整合两者，最终通过关系层计算文本与视频的匹配分数，成为该任务的基线方法。后续研究在此基础上探索了更高效的时空注意力机制、多粒度对齐策略以及轻量化Transformer架构，进一步推动了文本到视频行人检索领域的发展。该数据集还激发了针对PRID-2011和iLIDS-VID子集的消融实验，验证了运动信息与特征融合对检索性能的关键作用。