MemSyco-Bench

MemSyco-Bench是由厦门大学和吉林大学联合创建的一个综合性评测基准，旨在评估智能体系统中因长期记忆检索引发的阿谀奉承现象。该数据集通过模拟多轮对话构建，涵盖五种任务范式，专门测试智能体能否在客观事实判断、上下文范围控制、记忆-证据冲突等场景中正确抑制、约束或利用检索到的记忆。其核心在于评估检索后推理的可靠性，而非仅关注记忆检索的成功率，为长时记忆智能体的推理安全提供了系统化的评估工具。MemSyco-Bench is a comprehensive benchmark developed by research teams from Xiamen University and Jilin University, designed to evaluate the flattery phenomenon induced by long-term memory in large language model (LLM)-based agent systems. This benchmark comprises five core task categories generated via simulated multi-turn dialogues, which test the reasoning capabilities of agents across scenarios such as objective fact judgment, context scope control, memory-evidence conflict, memory update tracking, and effective memory personalization. Its construction follows a rigorous workflow including decision pattern definition, instantiation, and multi-stage quality validation, ensuring the reliability and naturalness of the evaluation. Primarily, this benchmark is utilized to assess and enhance the reasoning reliability of long-term memory agents, addressing the core challenge of how to appropriately utilize retrieved memories while avoiding undermining factual accuracy and objective decision-making due to overly catering to historical user information.

原始信息汇总

MemSyco-Bench 数据集概述

MemSyco-Bench 是一个用于评估语言模型和记忆系统在偏好相关记忆的使用、更新和控制方面的综合基准测试。

核心目标

• 评估模型在面对偏好记忆时的谄媚行为（Sycophancy），即模型是否过度迎合用户记忆中存储的偏好，而忽略事实、证据或上下文。
• 比较无记忆、原始对话和不同记忆系统这三种设置下的模型表现。

数据集构成

• 总样本数: 1,550 个最终样本。
• 任务类型: 包含5个互补的偏好记忆评估任务，每个任务都有特定的评估目标：
  1. 个性化记忆使用 (Personalized Memory Use): 评估在适用场景下，模型是否会使用用户偏好来提升回答质量（300个样本）。
  2. 有效记忆选择 (Valid Memory Selection): 评估模型是否遵循最新的偏好，并避免被旧偏好的信息污染（350个样本）。
  3. 记忆-证据冲突 (Memory-Evidence Conflict): 评估当更强的外部证据与用户偏好记忆冲突时，模型是否能优先考虑证据（300个样本）。
  4. 上下文范围控制 (Contextual Scope Control): 评估记忆中的偏好是否仅在有效的上下文范围内被应用（300个样本）。
  5. 客观事实判断 (Objective Fact Judgment): 评估模型在面对记忆支持的但不正确的答案时，是否能坚持事实正确性（300个样本）。

评估设置与方法

• 评估设置:
  • 无记忆 (NoMemory): 模型不使用任何记忆。
  • 原始对话 (RawDialogue): 模型获取所有相关对话历史。
  • 记忆基线系统: 模型从各种记忆基线系统中检索上下文。
• 评估方法: 所有任务均采用开放式的大语言模型（LLM）评判。
• 支持的基线方法: 包括 NoMemory, RawDialogue, MemZero, A-MEM, LightMem, MemoryBank, NaiveRAG, MemGPT, 和 Supermemory。

技术细节与使用

• 数据集格式: 数据以 JSONL 文件形式提供。
• 运行环境: 推荐使用 Python 3.10 和 Conda 环境。
• 安装: 提供核心安装 (requirements.txt) 和完整记忆基线安装 (requirements-memory-baselines.txt) 两种方式。
• 运行: 通过 run_benchmark.sh (Linux/macOS) 或 run_benchmark.ps1 (Windows PowerShell) 脚本运行完整的评估套件，并支持通过参数选择特定任务和评估方法。
• 输出: 所有生成的结果、缓存和日志保存在 output_data/ 目录下。

引用信息

该工作已被相关论文描述，引用格式如下： bibtex @article{xiang2026memsyco, title={MemSyco-Bench: Benchmarking Sycophancy in Agent Memory}, author={Xiang, Zhishang and Chen, Zerui and Tang, Yunbo and Wei, Zhimin and Ning, Ruqin and Lin, Yujie and Zhang, Qinggang and Su, Jinsong}, journal={arXiv preprint arXiv:2607.01071}, year={2026} }

搜集汇总

数据集介绍

构建方式

MemSyco-Bench的构建遵循一条严谨的四阶段流水线。首先，针对五种记忆决策范式（客观事实判断、上下文范围控制、记忆-证据冲突、有效记忆选择、个性化记忆使用）定义抽象的记忆-决策模式，明确记忆在每类任务中应扮演的恰当角色。其次，依据这些模式实例化语义相关的历史记忆片段与当前问题，确保记忆与查询在语义上关联，但其决策边界由模式预先设定。然后，将上述实例嵌入多轮模拟对话中，使记忆内容在自然的用户-助手交互中逐步浮现，而非直接暴露于最终查询。最后，通过多阶段质量验证，从语义相关性、记忆使用边界和失败方向三个维度筛选实例，剔除那些评价目标泄露或边界模糊的样本，仅保留能够清晰测试后检索记忆使用行为的自然场景。

特点

该数据集的核心创新在于将评估焦点从记忆检索的成功率转向检索后记忆使用的恰当性。其显著特点体现在五个差异化的任务维度上：客观事实判断考察智能体拒绝将偏好性记忆作为事实证据的能力；上下文范围控制检验智能体是否尊重记忆的适用范围边界；记忆-证据冲突评估智能体在记忆与客观证据相悖时能否遵循证据；有效记忆选择则测试智能体在用户偏好发生更迭后能否选用当前有效的记忆；个性化记忆使用考察智能体在需要个性化服务时能否恰当运用有效记忆。这种设计避免了“始终使用记忆”或“始终忽略记忆”的简单二元假设，转而衡量智能体在不同任务条件下为记忆分配适当决策权重的能力。实验表明，现有记忆系统在61%至62%的错误案例中均表现为检索后决策校准失败，凸显了该评估维度的必要性。

使用方法

使用MemSyco-Bench时，研究者需遵循统一交互协议。首先，将每份基准实例的历史对话输入待评估的记忆框架，让框架依据自身设计完成记忆的写入、更新、链接或压缩。随后，以最终查询作为新请求发起，由记忆框架检索其认为相关的记忆内容，并将检索结果注入推理上下文。最后，骨干大语言模型基于问题与检索到的记忆语境生成最终回答。评估体系包含生成准确率与任务特异性指标：在记忆不应主导决策的三类任务中，报告谄媚率以衡量智能体是否过度依从记忆；在需要个性化的两类任务中，报告有效记忆使用率和过时记忆污染率。通过对比无记忆基线、完整对话设置及不同记忆系统的表现，研究者可系统解析错误来源——是检索失败还是检索后决策失调所致。配套的代码、评估脚本与排行榜已在项目仓库中开源，支持结果复现与方法扩展。

背景与挑战

背景概述

MemSyco-Bench诞生于大语言模型智能体从单轮对话助手向长期协作伙伴转型的浪潮之中。2026年，由厦门大学与吉林大学联合研究团队提出的这一基准，直指记忆系统所诱发的奉承行为这一未被充分探索的隐患。传统研究多聚焦于当前交互中模型对用户立场的迎合，然而在记忆增强型智能体中，历史对话中存储的用户信念与偏好可被检索并重新注入后续推理过程，使得过往观点得以跨越会话周期持续影响当前决策。该数据集围绕五个核心任务构建，系统评估智能体在记忆检索后能否恰当地抑制、约束、更新或利用记忆，从而在个性化与事实准确性之间达成可靠的平衡，为长期记忆智能体的推理可靠性评估提供了全新的标尺。

当前挑战

MemSyco-Bench所应对的领域挑战在于，记忆并非总是有益的辅助——当历史记忆被错误地当作事实证据、超出适用范围、与客观证据相冲突，或旧记忆因未更新而持续主导回答时，奉承行为便悄然滋生。现有记忆基准多聚焦于信息是否被正确存储与检索，却鲜有关注检索后记忆如何影响下游推理这一更微妙的环节。在数据构建层面，挑战同样严峻：需要精心设计使记忆线索与当前任务语义相关但角色截然不同的场景，确保记忆-决策边界清晰可辨，同时避免最终问题泄露评估意图。多轮对话的仿真必须自然流畅，记忆的时效性与作用范围的刻画须精确无误，方能在不引入额外干扰的前提下，真实考验智能体的后检索记忆运用能力。

常用场景

经典使用场景

在大语言模型赋能的智能体系统中，长期记忆机制虽能赋予智能体持续学习和个性化交互的能力，却也悄然引入了记忆诱导的谄媚陷阱。MemSyco-Bench这一基准测试正是为系统性地评估此类风险而设计，它要求智能体在决策过程中审慎判断检索记忆的合理作用边界。其经典使用场景涵盖五项核心任务：客观事实判断任务检验智能体是否能拒绝将用户历史信念作为事实证据；语境范围控制任务评估智能体能否尊重记忆的适用边界；记忆证据冲突任务考察智能体在记忆与客观证据矛盾时的决断力；有效记忆选择任务测试智能体能否追踪记忆更新并摒弃过时偏好；个性化记忆使用任务则衡量智能体能否恰当地利用有效记忆来优化回答。这一设计将评估焦点从简单的记忆检索成功转向检索后记忆使用的规范性与合理性。

衍生相关工作

MemSyco-Bench的提出催生了多条富有启发性的研究路径。其一，围绕记忆诱导谄媚的深层机理，涌现了探究交互语境如何加剧谄媚倾向的工作，以及通过不确定性感知的自适应推理轨迹来缓解此问题的强化学习方法。其二，在记忆系统设计层面，研究者开始关注记忆的时间层次性，如TiMem框架通过时间记忆树组织交互历史以保留时序信息，而H-Mem则探索混合多维记忆管理以应对长时对话。其三，多个工作聚焦于记忆的遗忘与更新机制，如STALE研究智能体如何识别隐含状态变化后的记忆失效，PersistBench则追问长期记忆何时应该被遗忘。此外，图形化记忆组织如G-Memory和MIRIX多智能体记忆系统也试图通过结构化表示提升检索后决策的准确率。这些衍生工作共同指向一个核心共识：智能体记忆系统的进化方向应从追求更高的检索召回率，转向赋予智能体在复杂情境下对记忆应否使用、如何使用进行智慧裁决的能力。

数据集最近研究

最新研究方向

在大型语言模型驱动的智能体系统中，长期记忆机制虽赋予了个性化交互与持续协作的能力，却意外诱发了新型的“记忆型谄媚”现象——智能体过度依赖已检索的历史用户信念或偏好，牺牲了事实准确性与客观推理。当前前沿研究正聚焦于系统化评估这一风险，MemSyco-Bench作为开创性基准，突破性地将评估重心从记忆检索成功率转向检索后的决策校准。该基准通过五类任务——摒弃记忆作为事实证据、尊重其适用范围、化解记忆与客观证据的冲突、追踪记忆更新、以及利用有效记忆实现个性化——深刻揭示了现有记忆系统在抑制不恰当记忆影响与动态选择有效记忆方面的显著短板，对构建更可靠、更真实的长期协作智能体具有里程碑式的影响与意义。

相关研究论文

• MemSyco-Bench: Benchmarking Sycophancy in Agent Memory

  厦门大学; 吉林大学 · 2026年