WikiPersona

WikiPersona是一个基于真实人物个性化和多样性的个性化对齐数据集。该数据集挑战模型通过可解释的过程与这些人物对齐，包括生成可验证的文本描述，以展示人物的背景和偏好。数据集的创建过程包括选择真实人物、生成个性化问题、从基线模型中采样响应、以及由GPT4作为个人法官进行偏好标注。该数据集旨在解决个性化对齐的问题，并促进未来对个人偏好数据的可解释性方法的构建。

WikiPersona is a personalized alignment dataset built on the personal traits and diversity of real-world individuals. This dataset challenges models to align with these individuals via an interpretable workflow, which entails generating verifiable textual descriptions to demonstrate their backgrounds and personal preferences. The construction of this dataset encompasses selecting real individuals, formulating personalized questions, sampling responses from baseline models, and performing preference annotation with GPT-4 serving as a personal judge. This dataset is designed to address the challenges of personalized alignment, and to advance the development of interpretable methods for personal preference data in future research.

原始信息汇总

数据集概述：WikiPersonas

基本信息

• 标题: WikiPersonas: What Can We Learn From Personalized Alignment to Famous People?
• 作者: Zilu Tang, Afra Feyza Akyürek, Ekin Akyürek, Derry Wijaya
• 提交日期: 2025年5月19日
• arXiv标识符: arXiv:2505.13257v1
• DOI: 10.48550/arXiv.2505.13257 (pending registration)
• 领域: 计算机科学 > 计算与语言 (cs.CL), 人工智能 (cs.AI), 机器学习 (cs.LG)

摘要

• 研究背景: 偏好对齐已成为微调模型以遵循通用人类偏好的标准流程。多数工作寻求优化模型以产生平均偏好的响应，简化了人类偏好的多样性和矛盾性。
• 数据集贡献: 引入WikiPersona，首个基于著名个体的细粒度个性化数据集，要求模型通过可解释的过程（生成可验证的个体背景和偏好描述）与这些角色对齐。
• 研究发现: 少量提示与偏好和微调在确保有效性和效率方面均失败，而使用推断的个人偏好作为前缀可实现有效个性化，尤其在偏好冲突的主题中，同时对未见角色实现更公平的泛化。

技术细节

• 页数: 9页
• 版本: v1
• 文件大小: 4,209 KB
• 格式: PDF, TeX Source, 其他格式

相关链接

• PDF链接: View PDF
• BibTeX引用: 可通过页面工具导出

搜集汇总

数据集介绍

构建方式

WikiPersona数据集的构建采用了四阶段流程：首先通过GPT4从11个预设维度（如政治、饮食等）筛选50位具有代表性的知名人物；其次为每位人物生成个性化问题及共享维度问题；随后基于Zephyr-7b-beta模型通过思维链提示生成多样化回答，并经过聚类筛选和奖励模型过滤；最终通过GPT4作为个性化评判者进行偏好标注。整个过程强调真实性约束，包括冷启动设定（生成时不使用人物信息）和策略一致性（响应来自基线模型）。

特点

作为首个基于真实人物构建的细粒度个性化对齐数据集，WikiPersona具有三大特征：1) 真实性维度，所有人物均为可验证的公众人物，其偏好可通过公开资料核实；2) 矛盾性设计，通过共享维度问题确保不同人物对同一问题存在对立偏好；3) 解释性增强，要求模型不仅生成对齐响应，还需推断人物背景偏好。数据集包含50位人物各200个偏好对，涵盖个人化与维度化问题，为人格化AI研究提供多维评估基准。

使用方法

该数据集支持三种主要应用范式：1) 提示工程，可直接将人物信息作为上下文提示语言模型；2) 个性化微调，为每位人物训练独立适配器；3) 多任务前缀调优，通过人物描述前缀实现单一模型的多人格适配。研究显示前缀多任务方法在泛化性和公平性上表现最优，使用时需注意：对于客观性问题可移除前缀以避免对齐税，而对主观问题应保留前缀以确保个性化响应。

背景与挑战

背景概述

WikiPersona是由波士顿大学、麻省理工学院和莫纳什大学印度尼西亚分校的研究团队于2025年创建的首个基于真实名人个性化对齐的数据集。该数据集聚焦于解决大型语言模型与复杂人类偏好对齐的核心问题，通过利用名人的公开资料构建可验证的个性化偏好描述。作为首个基于真实人物档案的合成偏好数据集，WikiPersona突破了传统对齐方法将人类偏好简化为单一平均值的局限，为研究细粒度个性化对齐提供了重要基准。其创新性地采用名人作为研究对象，既保证了偏好的可验证性，又为模型理解复杂个体差异提供了丰富样本。

当前挑战

WikiPersona面临的主要挑战体现在两个方面：首先在领域问题层面，该数据集致力于解决个性化偏好对齐这一复杂任务，需要模型同时处理多样化且常相互矛盾的个体偏好，这对传统基于平均偏好的对齐方法提出了严峻挑战；其次在构建过程中，研究团队面临名人偏好推断的准确性验证、多样化响应生成的困难，以及如何平衡数据集覆盖的广泛性与个体偏好的深度等挑战。特别是需要确保生成的响应既能体现个性化差异，又不会因过度拟合特定名人特征而失去泛化能力。

常用场景

经典使用场景

WikiPersona数据集被广泛应用于个性化对齐研究，特别是在大型语言模型（LLM）的微调过程中。该数据集通过模拟真实名人的个性化偏好，为研究者提供了一个细粒度的测试平台，用于评估模型在生成符合特定个体偏好的响应时的表现。其经典使用场景包括模型在生成文本时如何根据不同的个体背景和偏好进行调整，从而提升模型的个性化交互能力。

解决学术问题

WikiPersona数据集解决了当前个性化对齐研究中缺乏细粒度个体偏好数据的问题。传统的数据集往往将人类偏好简化为单一的平均值，忽略了多样性和个体差异。该数据集通过引入真实名人的个性化偏好，使得研究者能够更准确地模拟和评估模型在复杂、多样化的偏好空间中的表现。此外，数据集还支持研究模型在生成可验证的个性化描述时的能力，从而推动个性化对齐领域的理论和方法创新。

衍生相关工作

WikiPersona数据集衍生了一系列相关研究，特别是在个性化对齐和多目标优化领域。例如，研究者利用该数据集开发了基于前缀的多任务偏好调优方法，该方法通过显式推断用户偏好作为前缀，有效提升了模型的个性化能力。此外，数据集还启发了对模型在未见过的个体偏好上的泛化能力的研究，以及如何通过移除前缀来减轻对齐税（alignment tax）的探索。这些工作进一步推动了个性化对齐技术的发展。