OpenLifelogQA

OpenLifelogQA是一个基于18个月生命日志数据构建的开放式的多模态生命日志问答数据集。该数据集包含14,187个问答对，涉及多种类型和难度级别。数据集来源于Lifelog Search Challenge，共包括722,606张第一视角图像，时间跨度为18个月。该数据集旨在解决生命日志问答任务中的信息定位、多跳问题管理和多模态数据解释等挑战，并支持新的生命日志技术研究，如个人聊天机器人等。数据集已被分为训练、验证和测试集，并按照月份进行划分，以避免数据泄漏。

OpenLifelogQA is an open-ended multi-modal lifelogging question answering dataset constructed based on 18-month lifelogging data. This dataset contains 14,187 question-answer pairs, covering diverse types and difficulty levels. Derived from the Lifelog Search Challenge, it includes a total of 722,606 first-person images with a time span of 18 months. This dataset aims to address challenges in lifelogging QA tasks such as information localization, multi-hop question management, and multi-modal data interpretation, and supports novel lifelogging technology research such as personal chatbots. The dataset has been split into training, validation, and test sets, with partitioning performed by month to prevent data leakage.

搜集汇总

数据集介绍

构建方式

OpenLifelogQA数据集的构建基于Lifelog Search Challenge 2024（LSC'24）提供的18个月真实生活日志数据，包含722,606张第一视角图像及相关元数据。通过招募10名志愿者和利用GPT-4o模型，采用四阶段标注流程：数据概览审查、事件描述生成、人工与AI协同生成问答对、质量校验与修正。最终形成14,187组问答对，覆盖514天生活事件，每对问答关联1至多个事件描述作为答案依据。

特点

该数据集以开放答案为特色，涵盖原子型（58.8%）、时序型（8.63%）和聚合型（32.58%）三类问题，涉及'何时''何地''如何'等多元提问方式。其多模态特性整合了图像、时间戳、地理位置及生物特征数据，问题平均长度12词，答案6词，呈现真实场景下的简洁交互需求。相较现有合成数据集，其规模与多样性为生活日志问答研究提供了更贴近实际的基准。

使用方法

数据集按月份划分为训练集（11,159对）、验证集（1,500对）和测试集（1,500对），避免数据泄漏。使用者可通过提供的元数据与图像链接构建多模态模型，处理检索-问答联合任务。基线实验表明，直接输入问题及关联事件上下文至LLaVA-NeXT-Interleave等多模态大模型可获得89.7%的BERTScore，但聚合类问题仍需时序推理增强。研究需遵守CC BY-NC 4.0许可，并通过伦理审查获取敏感图像数据。

背景与挑战

背景概述

OpenLifelogQA数据集由ADAPT中心、都柏林城市大学以及越南国立大学胡志明市分校的研究团队于2025年联合发布，旨在推动多模态生活日志问答技术的研究。该数据集基于长达18个月的真实生活日志数据构建，包含14,187对开放式问答对，覆盖514天的个人日常活动记录，涉及点视角图像、时间戳、位置及生物特征等多模态数据。其核心研究问题聚焦于如何通过自然语言交互从海量生活日志中提取精准信息，为记忆增强、健康监测等应用提供技术支持。作为首个大规模开放式生活日志问答数据集，OpenLifelogQA填补了该领域高质量数据资源的空白，为开发基于大语言模型的个性化生活助手奠定了基础。

当前挑战

OpenLifelogQA面临三重核心挑战：在领域问题层面，生活日志的时空跨度和多模态特性导致复杂多跳推理困难，例如需同时解析图像内容与元数据回答"6月1日看电视总时长"这类聚合问题；数据构建过程中，人工标注27,705个事件描述需平衡语义准确性与隐私保护，而GPT-4o生成的问答对需经严格的质量控制以消除语义漂移；技术评估方面，现有多模态大模型在时间计算等逻辑推理任务表现欠佳，基线实验显示聚合问题的LLM评分（3.34）显著低于原子问题（4.26），凸显时序推理能力的不足。

常用场景

经典使用场景

OpenLifelogQA数据集在生命日志问答（Lifelog QA）领域具有广泛的应用场景。该数据集通过多模态数据（包括图像、时间和位置信息）支持开放式的问答任务，使得研究者能够开发出能够理解和回答关于日常生活事件的复杂问题的模型。其经典使用场景包括个人记忆增强、生活方式分析和健康监测等。

实际应用

在实际应用中，OpenLifelogQA数据集可用于开发个人智能助手，帮助用户通过自然语言查询日常活动。例如，用户可以询问“我昨天午餐吃了什么？”或“我上周锻炼了多长时间？”，系统能够基于生命日志数据提供准确的回答。这种应用在健康管理、记忆辅助和日常规划中具有重要价值。

衍生相关工作

OpenLifelogQA数据集推动了多项相关研究，包括多模态问答模型、时间序列推理和生成式AI在生命日志中的应用。例如，基于该数据集的研究可能开发出能够处理复杂聚合问题（如计算事件持续时间）的模型，或结合大型语言模型（如LLaVA-NeXT-Interleave）提升问答的准确性和自然性。