PAL-Set
收藏arXiv2025-11-17 更新2025-11-19 收录
下载链接：
https://github.com/hzp3517/Mem-PAL
下载链接
链接失效反馈官方服务：
资源简介：
PAL-Set是由中国人民大学与阿里巴巴联合创建的首个中文个性化对话交互数据集，专为长期用户-智能体交互场景设计。该数据集包含100个虚拟用户的交互记录，平均每个用户横跨9.4个月、29个会话时段，涵盖996条行为日志和401轮对话，数据通过多阶段LLM合成流程生成并经过人工验证。数据集构建采用分层生成策略，从用户画像到会话场景逐步细化，最终形成包含行为日志与对话框架的结构化数据。该数据集主要应用于服务型对话系统的个性化能力评估，旨在解决长期交互中用户需求理解与偏好建模的核心挑战，推动个性化对话助手的发展。
PAL-Set is the first Chinese personalized conversational interaction dataset jointly developed by Renmin University of China and Alibaba, tailored for long-term user-AI Agent interaction scenarios. This dataset comprises interaction records from 100 virtual users, with each user's interaction spanning an average of 9.4 months across 29 session periods, encompassing 996 behavior logs and 401 conversation turns. The data is generated via a multi-stage LLM synthesis pipeline and manually verified by human annotators. The dataset is constructed via a hierarchical generation strategy, which progressively refines from user profiles to conversation scenarios, ultimately yielding structured data that integrates behavior logs and conversation frameworks. This dataset is primarily utilized for evaluating the personalized capabilities of service-oriented conversational systems, aiming to address the core challenges of user requirement understanding and preference modeling in long-term interactions, thereby advancing the development of personalized conversational assistants.
提供机构：
中国人民大学、阿里巴巴集团淘宝天猫事业部
创建时间：
2025-11-17
原始信息汇总
Mem-PAL数据集概述
数据集基本信息
- 数据集名称：Mem-PAL
- 关联论文："Mem-PAL: Towards Memory-based Personalized Dialogue Assistants for Long-term User-Agent Interaction" (AAAI 2026 Oral)
- 论文附录：https://github.com/hzp3517/Mem-PAL/blob/main/Appendix_of_Mem-PAL.pdf
核心数据集：PAL-Set
数据位置
- 主数据文件：
./data_synthesis_v2/data/input.json - 用户背景特征数据：
./data_synthesis_v2/data目录
数据规模与结构
- 包含100个用户的字典数据，键为用户ID
- 每个用户字典包含两个部分：
history：历史数据集query：查询数据集
数据样本结构
sample_id：样本ID编号dialogue_timestamp：当前样本对话发生的时间戳logs：按时间顺序排列的日志列表，包含：timestamp：日志时间戳content：日志内容
dialogue：多轮对话内容，每轮包含：- 用户话语：
action和content - 助手回复：
action和content
- 用户话语：
topics：对话框架，包含1~3个主题，每个主题包含：user_query：用户初始模糊查询implicit_needs：2个需要推理的隐含需求列表requirement：结合用户查询和隐含需求的详细需求描述solution：解决方案pos：2个最符合用户偏好的解决方案neg：2个最不符合用户偏好的解决方案
candidate_solutions：所有8个候选解决方案，标注用户反馈类型
语言版本
- 当前版本：中文
- 计划发布：英文翻译版本
数据合成流程
代码位置
./data_synthesis_v2/code目录包含以下模块：
- 背景生成：
background.py - 全局角色：
global_persona.py - 情境与经验：
situation.py - 对话框架：
dialogue_framework.py - 日志与对话：
log.py和dialogue.py
提示模板
- 位置：
./data_synthesis_v2/prompt_template目录 - 内容：各步骤的示例和提示模板
H²Memory框架与评估
框架组件代码
位置：./perassist_framework/code/memory_rag_v2/
- 日志图：
log_analysis.py - 背景总结：
background_summary.py - 主题概要：
dialogue_analysis.py - 原则提取：
pinciple_extraction.py
评估任务
需求重述
- 代码：
requirement_prediction_mamory_rag_v2.py - GPT-4评估提示：
./perassist_framework/code/evaluation/requirement_prediction_evaluation_prompt
解决方案提议
- 解决方案生成：
solution_qa_mamory_rag_v2.py - 解决方案选择：
solution_selection_mamory_rag_v2.py
多轮对话交互
- 代码：
dialogue_interaction_memory_rag_v2.py - 用户LLM和评估LLM提示：
./perassist_framework/code/dialogue_evaluation
搜集汇总
数据集介绍
构建方式
在智能设备普及的背景下，为模拟真实用户与代理的长期交互，PAL-Set采用多阶段生成流程构建。首先基于用户基本档案生成个性化画像，包括时间轴事件与主观偏好描述；随后扩展为会话级情境，通过大语言模型合成带时间戳的行为日志与多轮服务对话，并引入人工验证机制确保数据与预设画像的一致性，最终形成包含多会话交互记录的中文数据集。
使用方法
该数据集支撑PAL-Bench基准的三大评估任务：需求重述任务通过单轮问答检验助手对用户隐含需求的理解能力；方案提议任务要求模型基于历史交互生成或筛选符合用户偏好的解决方案；多轮对话交互任务则采用LLM模拟用户进行端到端评估，结合自动化指标与人工评判，全面衡量个性化服务助手的长期适应性与上下文感知能力。
背景与挑战
背景概述
PAL-Set数据集由中国人民大学与阿里巴巴集团于2025年联合推出，聚焦于长期用户与智能体交互场景下的个性化对话研究。该数据集通过多阶段大语言模型合成流程构建，涵盖100名虚拟用户的长期行为日志与多轮对话记录，平均每个用户包含29个会话周期和401轮对话交互。其核心研究在于解决服务导向型对话系统中用户主观特征建模的缺失问题，推动了个性化对话助手在真实应用场景中的发展，为中文领域长期交互研究提供了首例基准数据支撑。
当前挑战
在解决个性化服务对话领域问题时，PAL-Set需应对用户长期偏好动态建模与隐式需求推理的双重挑战。构建过程中面临合成数据真实性验证的难题，包括行为日志与对话内容的一致性校验、时序逻辑连贯性保持，以及用户画像与生成内容的对齐问题。此外，在缺乏真实用户数据的前提下，如何通过人工标注 refinement 环节确保合成数据的可信度与实用性，亦是该数据集构建过程中的关键挑战。
常用场景
经典使用场景
在个性化对话系统研究中，PAL-Set作为首个中文长周期用户-智能体交互数据集，其经典应用场景聚焦于评估服务型助手在多轮对话中对用户个性化特征的理解能力。该数据集通过模拟真实场景中的用户行为日志与对话历史，为研究者提供了分析长期交互模式下用户需求演化规律的实验平台，尤其在用户画像建模和动态偏好追踪方面展现出独特价值。
解决学术问题
该数据集有效解决了服务型对话系统中长期存在的个性化建模难题，特别是针对传统方法难以捕捉的用户主观偏好与动态需求。通过构建包含多会话行为日志的异构交互数据，PAL-Set为突破长周期交互中的语义连贯性障碍提供了基准，显著推进了基于记忆增强的个性化对话生成技术发展，对建立可持续演进的用户认知模型具有里程碑意义。
实际应用
在智能终端服务生态中，PAL-Set为开发具备长期记忆能力的个性化助手提供了关键训练数据。其实际应用涵盖电商客服、健康管理、智能家居等场景，通过模拟用户数月内的连续交互记录，使助手能准确理解如“教育观念分歧”等复杂需求的演变过程，实现从通用响应到精准服务的范式转变，大幅提升人机协作效率。
数据集最近研究
最新研究方向
在智能对话系统领域，PAL-Set作为首个中文用户-智能体长期交互数据集，推动了基于记忆建模的个性化服务研究。前沿方向聚焦于异构记忆框架的构建，通过整合用户行为日志与对话历史，结合检索增强生成技术，实现对用户主观需求和偏好的动态捕捉。热点探索包括分层记忆机制在长期交互中的适应性更新，以及多模态数据融合对服务精准度的提升，显著增强了对话系统在医疗咨询、心理支持等场景的个性化响应能力，为构建具备长期记忆的智能助手奠定了理论与实践基础。
相关研究论文
- 1通过中国人民大学、阿里巴巴集团淘宝天猫事业部 · 2025年
以上内容由遇见数据集搜集并总结生成
