ATM-Bench
收藏资源简介：
ATM-Bench是第一个用于长期（约4年）多模态、多源个性化参考记忆QA的基准数据集，具有基于证据的检索和回答功能。
ATM-Bench is the first benchmark dataset for long-term (approximately 4-year) multimodal, multi-source personalized reference memory QA, featuring evidence-based retrieval and answering capabilities.
ATM-Bench 数据集概述
数据集基本信息
- 数据集名称：ATM-Bench
- 核心定位：首个用于多模态、多源个性化指代记忆问答的基准测试，专注于长时程（约4年）且要求证据支撑的检索与回答。
- 官方论文：According to Me: Long-Term Personalized Referential Memory QA
- 项目主页：https://atmbench.github.io/
- 许可证：MIT License
数据集核心特性
- 数据模态与来源：包含图像、视频、电子邮件等多模态、多来源数据。
- 时间跨度：覆盖约4年的个人记忆。
- 查询类型：专注于解析个性化指代查询（例如，“给我看看Grace试图偷偷摸摸的那些时刻...”）。
- 证据基础：问答对经过人工标注，并附有真实记忆证据作为标准答案。
- 推理复杂度：
- 支持需要从多个来源整合证据的查询。
- 包含需要处理矛盾信息的场景。
数据组织与处理框架
记忆预处理
比较两种预处理表示方法：
- 描述性记忆：每个记忆项表示为一个自然语言描述。
- 模式引导记忆：每个记忆项表示为遵循固定模式的、基于文本的键值对字段。模式字段具有模态感知能力，例如：
- 图像/视频记忆：包含
time、location、entities、ocr、tags等字段。 - 电子邮件记忆：包含
time、summary、body等字段。
- 图像/视频记忆：包含
记忆组织
比较两种记忆存储组织方式：
- 堆叠记忆：记忆项存储时没有显式的链接关系。
- 链接记忆：记忆项通过推断出的关系（图结构）进行链接；智能体系统还可以在组织过程中更新现有项目。
评估设置
- 端到端评估：评估检索与生成的联合性能。
- NIAH评估：提供“大海捞针”式评估协议，用于隔离答案生成/推理质量与检索质量。每个问题与一个固定的证据池配对，该池包含所有真实证据项，其余部分则由真实的干扰项填充。
数据与代码状态
- 论文发布日期：2026年3月3日（arXiv: 2603.01990）。
- 代码库发布日期：2026年3月4日，包含MMRAG、Oracle、NIAH以及四个移植的第三方基线（A-Mem、HippoRAG2、mem0、MemoryOS）的实现。
- 数据发布状态：即将发布。
- 其他基线实现状态：针对OpenClaw、Codex和OpenCode的基准测试实现即将发布。
仓库结构
ATMBench/ ├── memqa/ # 核心记忆问答实现 ├── scripts/ # 实验脚本 ├── docs/ # 文档 ├── data/ # 数据目录（由用户提供） ├── third_party/ # 集成的第三方记忆系统 └── output/ # 实验输出（被Git忽略）
引用信息
如需在研究中引用ATM-Bench，请使用以下BibTeX条目： bibtex @article{mei2026atm, title={According to Me: Long-Term Personalized Referential Memory QA}, author={Mei, Jingbiao and Chen, Jinghong and Yang, Guangyu and Hou, Xinyu and Li, Margaret and Byrne, Bill}, journal={arXiv preprint arXiv:2603.01990}, year={2026}, url={https://arxiv.org/abs/2603.01990}, doi={10.48550/arXiv.2603.01990} }
