Temporal Memory Dataset

该数据集用于论文Toward Conversational Agents with Context and Time Sensitive Long-term Memory中，包含了模拟的长对话数据，用于测试时间敏感和上下文相关的查询。数据集包括对话日志和测试数据，用于评估基于检索增强生成（RAG）的模型在处理时间/事件查询和模糊查询方面的能力。

This dataset is utilized in the paper 'Toward Conversational Agents with Context and Time Sensitive Long-term Memory'. It comprises simulated long-dialogue data designed to test time-sensitive and context-related queries. The dataset includes dialogue logs and test data, aimed at evaluating the capabilities of retrieval-augmented generation (RAG) based models in handling time/event queries and ambiguous queries.

原始信息汇总

数据集概述

数据集名称

Temporal Memory Dataset

数据集来源

该数据集用于论文 "Toward Conversational Agents with Context and Time Sensitive Long-term Memory" (Alonso et al., 2024)。

数据集内容

1. Conversational Data

   • 包含12个对话日志，这些日志来源于LoCoMo数据集（Maharana et al., 2024）并经过修改。
   • 每个对话日志存储在单独的json文件中，文件包含对话会话的字典，每个会话存储一系列响应及其元数据（如时间、日期、说话者、响应编号）。

2. Test Data

   • 包含三个目录，分别针对不同类型的测试：时间基础查询测试、时间+内容基础查询测试和模糊时间基础查询测试。
   • 每个测试类型（子类型）的问题和答案存储在json文件中，文件包含一个字典，其中每个文件编号(file_n)对应一个字典列表，每个字典存储一个问题和一组响应编号。

数据集使用方法

• Conversational Data python import json with open(ConversationalData/46.json, r) as openfile: data = json.load(openfile)

• Test Data

  • 时间基础查询测试 python import json with open(TestData/time_qs/test_dates.json, r) as openfile: test_data = json.load(openfile)

  • 模糊时间基础查询测试 python import json with open(TestData/ambiguous_time_qs/test_dates.json, r) as openfile: test_data = json.load(openfile)

  • 时间+内容基础查询测试 python import json with open(TestData/content_time_qs/content_time_qs.json, r) as openfile: test_data = json.load(openfile)

参考文献

1. Alonso, N., Figliolia, T., Ndirango, A., Millidge, B. (2024). Toward Conversational Agents with Time and Context Sensitive Long-term Memory. arXiv preprint arXiv:2406.00057
2. Maharana, A., Lee, D. H., Tulyakov, S., Bansal, M., Barbieri, F., & Fang, Y. (2024). Evaluating Very Long-Term Conversational Memory of LLM Agents. arXiv preprint arXiv:2402.17753.

搜集汇总

数据集介绍

构建方式

在构建Temporal Memory Dataset时，研究者们基于LoCoMo Dataset（Maharana et al., 2024）进行了扩展与修改。该数据集包含了12个模拟对话日志，每个日志存储在单独的json文件中，每个文件内含多个对话会话，每个会话记录了响应及其相关元数据，如时间、日期、发言者和响应编号。此外，测试数据分为三种类型：基于时间的查询测试、时间与内容结合的查询测试以及模糊时间查询测试，每种类型的问题和答案均以json格式存储，便于直接加载和分析。

特点

Temporal Memory Dataset的显著特点在于其专注于时间敏感和模糊查询的对话数据，这为开发具有长期记忆功能的对话代理提供了独特的挑战和机遇。数据集不仅包含了详细的对话日志，还设计了多种测试场景，以评估模型在处理时间依赖性和上下文理解方面的能力。此外，数据集的结构化存储方式使得数据检索和处理变得高效且直观。

使用方法

使用Temporal Memory Dataset时，用户首先需要克隆GitHub仓库，然后通过Python脚本加载所需的对话日志或测试数据。例如，加载对话日志时，可以使用json模块直接读取指定编号的日志文件。对于测试数据，用户可以根据测试类型选择相应的json文件进行加载。这种直接且标准化的数据访问方式，使得研究人员和开发者能够快速上手，进行模型训练和性能评估。

背景与挑战

背景概述

近年来，随着对话代理对长期记忆需求的增加，检索增强生成（RAG）模型得到了快速发展。然而，现有研究主要集中在从静态文本数据库（如维基百科）中检索信息，而非从长篇对话中提取信息。Alonso等人（2024年）在《Toward Conversational Agents with Context and Time Sensitive Long-term Memory》一文中指出，从长篇对话数据中进行有效检索面临两大独特挑战：时间/事件查询和模糊查询。为应对这些挑战，研究团队基于LoCoMo数据集（Maharana等人，2024年）创建了Temporal Memory Dataset，旨在为RAG模型提供一个评估和改进的平台，使其能够更好地处理时间敏感和上下文相关的查询。

当前挑战

Temporal Memory Dataset的构建面临两大主要挑战。首先，时间/事件查询要求模型能够根据时间或对话事件的顺序检索信息，这需要对对话历史进行精确的时间索引和事件排序。其次，模糊查询需要模型结合上下文理解查询意图，这对模型的语义理解和上下文推理能力提出了高要求。此外，数据集的构建过程中还需处理对话数据的复杂性和多样性，确保数据集能够全面覆盖各种查询场景，从而为模型的训练和评估提供可靠的基础。

常用场景

经典使用场景

在对话系统领域，Temporal Memory Dataset 被广泛用于评估和改进对话代理的长时记忆能力。该数据集通过模拟的长时间对话记录，提供了丰富的上下文信息和时间戳数据，使得研究者能够设计并测试能够处理时间敏感查询和模糊查询的对话模型。例如，研究者可以利用该数据集训练模型，使其能够在对话中准确地检索并响应基于时间或事件顺序的查询，如‘周二第三次对话的内容是什么？’。

实际应用

在实际应用中，Temporal Memory Dataset 为开发能够处理复杂查询的对话代理提供了宝贵的资源。例如，在客户服务领域，对话代理需要能够检索并理解长时间跨度的对话记录，以便提供准确的服务。此外，在医疗对话系统中，医生和患者之间的长时间对话记录对于诊断和治疗方案的制定至关重要，该数据集的应用有助于提升这些系统的效率和准确性。

衍生相关工作

基于 Temporal Memory Dataset，研究者们开发了多种改进的对话代理模型，特别是在长时记忆检索和上下文理解方面。例如，一些研究工作提出了结合链式表搜索方法和向量数据库检索的新型检索模型，显著提升了模型在处理时间敏感和模糊查询时的性能。此外，该数据集还激发了在对话系统中引入更多元数据和上下文信息的研究，推动了对话系统在复杂场景下的应用和发展。