MTPChat

MTPChat是一个由悉尼科技大学和利物浦大学合作创建的多模态时间感知对话数据集，该数据集整合了语言、视觉和时态元素，是首个模拟对话和个人记忆中时间变化的多人对话数据集。它包含28,700个对话实例，以社交媒体平台Reddit上的多模态记忆对话为基础，通过时间注释、构建时间感知对话和记忆注释三个步骤创建而成，旨在推动模型在多模态时间敏感场景中的时态理解能力的发展。MTPChat is a multimodal time-aware dialogue dataset co-developed by the University of Technology Sydney and the University of Liverpool. It integrates linguistic, visual and temporal elements, and represents the first multi-party dialogue dataset that simulates temporal variations in conversations and personal memories. The dataset contains 28,700 dialogue instances, which are grounded in multimodal memory-focused conversations sourced from the social media platform Reddit, and was built through three sequential steps: temporal annotation, construction of time-aware dialogues, and memory annotation. Its core objective is to advance the temporal comprehension capabilities of AI models in multimodal time-sensitive scenarios.

搜集汇总

数据集介绍

构建方式

MTPChat数据集的构建基于MPChat数据集，MPChat是一个包含语言和视觉组件的多模态人格对话数据集。MTPChat数据集的构建分为三个主要步骤：时间标注、构建时间感知对话和记忆标注。时间标注将MPChat数据集中的UTC字符串转换为日期格式“yyyy/mm/dd”，并将其纳入对话和记忆组件中。构建时间感知对话是通过修改对话的时间信息来模拟现实世界中对话随时间的变化。记忆标注是对说话者的记忆添加时间标注，并引入了“无记忆”类别来模拟早期阶段的对话。MTPChat数据集包含18,973个对话和25,877个用户，分为训练、验证和测试集。

特点

MTPChat数据集的特点是包含语言、视觉和时序元素，这使得它能够模拟人格驱动的时序变化。与现有的时序敏感数据集相比，MTPChat结合了对话、人格记忆和视觉元素，增强了其现实性和复杂性。此外，MTPChat数据集还提出了两个新颖的任务：时序下一个响应预测（TNRP）和时序定位记忆预测（TGMP），这两个任务都旨在评估模型理解隐含时序线索和跟踪随时间变化的响应的能力。

使用方法

MTPChat数据集可用于评估模型在多模态、时序敏感场景中的时序推理能力。为了进行评估，可以采用SBERT和CLIP等模型，并使用召回率（Recall@1）和平均倒数排名（MRR）作为评估指标。此外，还可以使用自适应时序模块（ATM）来增强模型的多模态融合能力和时序感知能力。

背景与挑战

背景概述

在人工智能领域，理解时间动态对于对话系统的有效内容分析和决策制定至关重要。然而，目前时间感知数据集，尤其是针对基于角色的对话数据集仍然有限，这限制了它们的应用范围和复杂性。为了填补这一空白，MTPChat数据集应运而生，它是一个多模态、时间感知的角色对话数据集，将语言、视觉和时态元素整合到对话和角色记忆中。该数据集由杨万琪等研究人员创建，基于悉尼科技大学和利物浦大学的研究成果。MTPChat数据集的创建旨在解决对话系统中时间感知信息理解的问题，它通过引入时间敏感的任务和创新的框架，为评估模型理解隐含时态线索和动态交互的能力提供了新的挑战。该数据集的引入不仅丰富了对话系统的数据资源，也为相关领域的研究提供了新的方向和可能性。

当前挑战

MTPChat数据集面临的挑战主要涉及两个方面：1)所解决的领域问题的挑战：该数据集旨在解决对话系统中时间感知信息理解的问题，需要模型能够跟踪时间变化并有效地处理对话和记忆中的动态交互。2)构建过程中所遇到的挑战：MTPChat数据集的构建需要整合语言、视觉和时态元素，这要求研究人员必须设计出能够有效地处理多模态数据并捕捉时态依赖的创新框架。此外，数据集的构建还需要考虑真实世界对话中时间动态的复杂性，以及如何通过数据集的设计来模拟这些动态变化。

常用场景

经典使用场景

MTPChat数据集主要用于训练和评估对话代理模型对时间动态的理解能力，特别是在对话和人物记忆中整合语言、视觉和时态元素的能力。该数据集通过引入两个时态敏感的任务——时态下一个响应预测（TNRP）和时态定位记忆预测（TGMP），来挑战模型对隐含时态线索的理解和对时间变化响应的追踪能力。MTPChat数据集的独特之处在于其多模态和时间敏感的特性，这使得它在训练对话代理时能够模拟现实世界中人类认知的时间推移，从而提高模型在复杂对话场景中的表现。

衍生相关工作

MTPChat数据集的提出催生了一系列相关的经典工作。例如，基于MTPChat的时态下一个响应预测（TNRP）和时态定位记忆预测（TGMP）任务，为研究对话代理的时间推理能力提供了新的研究方向。此外，MTPChat还推动了自适应时态模块（ATM）的发展，该模块能够有效地整合多模态流，并捕获动态的时态依赖关系。这些相关工作不仅扩展了MTPChat的应用范围，还为对话AI中的时间推理研究提供了新的思路和方法。

数据集最近研究

最新研究方向

MTPChat数据集的最新研究方向主要集中在多模态、时间感知的对话系统。该数据集通过整合语言、视觉和时序元素，模拟真实世界中的时间动态，为对话和人物记忆提供了更复杂和真实的场景。研究的热点事件包括提出了两个新的时间敏感任务：时间感知下一响应预测（TNRP）和时间感知记忆定位预测（TGMP）。这两个任务旨在评估模型理解隐含时间线索和动态交互的能力。此外，还提出了一种创新框架，其中包含一个自适应时间模块，该模块有效地整合多模态流并捕获时序依赖关系。实验结果表明，MTPChat提出的挑战性任务对多模态时间敏感场景下的模型性能提出了新的要求，自适应时间模块在多模态时序推理中表现出显著优势。

相关研究论文

• MTPChat: A Multimodal Time-Aware Persona Dataset for Conversational Agents

  悉尼科技大学, 利物浦大学 · 2025年