PersonalLab/PersonalSum

--- license: cc-by-nc-4.0 task_categories: - summarization language: - 'no' pretty_name: PersonalSum --- # PersonalSum: A User-Subjective Guided Personalized Summarization Dataset PersonalSum is a dataset designed to support research in the domain of personalized textual summarization. It offers high quality, manually annotated news summaries that reflect individual users preferences and focuses. The dataset is constructed to facilitate the development of personalized summarization models, filling the gap in existing research, which often relies on generic summaries or pseudo datasets. PersonalSum allows for the exploration of how personal interests and preferences can be incorporated into summarization tasks. ## Functions of the Dataset 1. **Personalized Summarization**: Facilitates the creation of summaries that align with individual user preferences by incorporating user profiles and personalized annotations. 2. **Generic Summarization**: Includes machine generated summaries for comparative analysis with personalized summaries. ## Dataset Structure The dataset consists of two primary CSV files, each serving distinct purposes: 1. **PersonalSum_original.csv**: The original dataset with personalized summaries created by human annotators reflecting their personal interests and preferences. This file also includes user profiles and the source sentences from the articles. 2. **Topic_centric_PersonalSum.csv**: The dataset organized around specific topics, allowing for focused analysis and comparison across different thematic areas. The data in this file is almost identical to PersonalSum_original.csv, with the key difference being that each assignment had the same topic. This structure aims to investigate the correlation between the quality of summaries and the users topic preferences. ### Difference Between the Two CSV Files - **PersonalSum_original.csv**: - Contains human annotated summaries that reflect individual user preferences. - **Topic_centric_PersonalSum.csv**: - Organizes summaries around specific topics. - Facilitates analysis and comparison of summaries within specific thematic areas. - The data collection was performed after PersonalSum_original.csv, with each assignment focused on the same topic to examine the potential correlation between summary quality and users topic preferences. ## Main Attributes of the Dataset - **User Profiles**: Each annotator is assigned a unique WorkerID, which identifies the individual performing the annotation. This allows tracking of annotations by the same person across different tasks. - **AssignmentID**: Represents a specific annotation task. Each annotator summarizes three different news articles under the same AssignmentID, indicating that they were part of the same annotation session. - **Duration**: Indicates the total time taken by each worker to complete an annotation assignment. The duration is the combined time used for finishing the annotations of three news articles. - **Summaries**: Both generic and personalized summaries with corresponding source sentences from news articles are provided. - **Question Answer Sets**: Three question and answer pairs related to each article are included, correlating directly to the content of the articles. ## License This dataset is made available under the Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0) license. You are free to share and adapt the material for non-commercial purposes as long as appropriate credit is given, and any changes made are indicated.

原始信息汇总

PersonalSum: A User-Subjective Guided Personalized Summarization Dataset

PersonalSum 是一个旨在支持个性化文本摘要研究的数据集。它提供高质量、人工标注的新闻摘要，反映个人用户偏好和关注点。该数据集旨在促进个性化摘要模型的发展，填补现有研究中常依赖通用摘要或伪数据集的空白。PersonalSum 允许探索如何将个人兴趣和偏好融入摘要任务中。

数据集功能

1. 个性化摘要：通过结合用户配置文件和个性化标注，促进与个人用户偏好对齐的摘要创建。
2. 通用摘要：包括机器生成的摘要，用于与个性化摘要进行比较分析。

数据集结构

数据集包含两个主要的 CSV 文件，每个文件服务于不同的目的：

1. PersonalSum_original.csv：原始数据集，包含由人工标注者创建的反映其个人兴趣和偏好的个性化摘要。该文件还包括用户配置文件和文章的源句子。
2. Topic_centric_PersonalSum.csv：围绕特定主题组织的数据集，允许在不同主题领域进行集中分析和比较。该文件中的数据与 PersonalSum_original.csv 几乎相同，主要区别在于每个任务都围绕同一主题。这种结构旨在研究摘要质量与用户主题偏好之间的潜在关联。

两个 CSV 文件的区别

• PersonalSum_original.csv：

  • 包含反映个人用户偏好的手工标注摘要。

• Topic_centric_PersonalSum.csv：

  • 围绕特定主题组织摘要。
  • 促进在特定主题领域内对摘要的分析和比较。
  • 数据收集在 PersonalSum_original.csv 之后进行，每个任务都聚焦于同一主题，以检查摘要质量与用户主题偏好之间的潜在关联。

数据集的主要属性

• 用户配置文件：每个标注者被分配一个唯一的 WorkerID，用于标识执行标注的个人。这允许在不同任务中跟踪同一个人的标注。
• AssignmentID：表示特定的标注任务。每个标注者在相同的 AssignmentID 下总结三篇不同的新闻文章，表明它们是同一标注会话的一部分。
• 持续时间：表示每个工人完成标注任务所花费的总时间。持续时间是完成三篇新闻文章标注所用的总时间。
• 摘要：提供通用和个性化摘要以及相应的新闻文章源句子。
• 问题答案集：每篇文章包含三个与文章内容直接相关的问题和答案对。

许可证

该数据集根据知识共享署名-非商业性使用 4.0 国际 (CC BY-NC 4.0) 许可证发布。您可以自由分享和改编材料，用于非商业目的，只要给予适当的信用，并指明所做的任何更改。

搜集汇总

数据集介绍

构建方式

PersonalSum数据集的构建立足于个性化文本摘要研究的空白，旨在突破传统通用摘要或伪数据集方法的局限。其核心构建方式依赖于人工标注，每位标注者拥有唯一的WorkerID以标识其个人偏好，并在同一AssignmentID下完成三篇新闻文章的摘要任务。数据集包含两个主要CSV文件：PersonalSum_original.csv收录了反映用户主观兴趣的个性化摘要及用户画像；Topic_centric_PersonalSum.csv则围绕特定主题组织数据，通过统一主题下的标注任务，探究摘要质量与用户主题偏好之间的潜在关联。

特点

该数据集的核心特色在于其用户主观引导的个性化设计，每份摘要均由人工标注者根据自身兴趣和关注点生成，从而真实反映个体偏好差异。同时，数据集提供了通用摘要与个性化摘要的对比结构，便于模型在个性化与通用性之间进行权衡。用户画像、标注时长、问题答案集等丰富属性，为深入分析用户行为与摘要质量的关系提供了多维数据支撑。此外，主题中心化的组织方式使得跨主题比较成为可能，进一步强化了数据集在个性化摘要研究中的独特价值。

使用方法

使用PersonalSum数据集时，研究者可加载PersonalSum_original.csv用于个性化摘要模型的训练与评估，利用用户画像和源句子进行偏好建模。Topic_centric_PersonalSum.csv则适用于主题相关性分析，通过对比同一主题下不同用户的摘要，探索用户兴趣对摘要质量的影响。数据集还包含通用摘要，可作为基线对比。建议研究者结合AssignmentID和WorkerID进行交叉分析，以控制个体差异和任务变量，从而更精准地评估个性化摘要算法的性能。

背景与挑战

背景概述

在自然语言处理领域，文本摘要技术已取得显著进展，但传统方法多侧重于生成通用摘要，未能充分捕捉用户个体差异与偏好。PersonalSum数据集由研究团队精心构建，旨在填补个性化摘要生成研究的空白。该数据集于近年来发布，依托于对用户主观偏好的深入分析，通过人工标注的方式，为每篇新闻文章生成反映不同用户兴趣的个性化摘要。其核心研究问题在于如何将用户画像与摘要生成过程深度融合，从而突破现有模型依赖伪数据集或通用摘要的局限。PersonalSum的推出为个性化自然语言生成提供了宝贵的基准资源，推动了该领域从通用化向用户中心化的范式转变，对信息过滤与推荐系统的优化具有重要启示。

当前挑战

当前PersonalSum数据集面临多重挑战。首先，在领域问题层面，个性化摘要生成需解决如何精准建模用户偏好的难题，现有模型常难以在摘要中平衡内容相关性与用户个性化需求，导致生成结果可能偏离用户真实兴趣。其次，在构建过程中，数据集标注面临主观性控制挑战：不同标注者对同一新闻的理解差异可能导致摘要质量波动，而用户画像的稀疏性进一步增加了模型泛化难度。此外，Topic_centric_PersonalSum文件虽试图探究主题偏好与摘要质量的相关性，但如何从多维度用户特征中提取有效信号，并避免过拟合于特定主题，仍是亟需攻克的瓶颈。这些挑战制约了模型在真实场景中的鲁棒性与可扩展性。

常用场景

经典使用场景

PersonalSum数据集专为个性化文本摘要研究而设计，其核心应用场景在于探索如何将用户的主观偏好融入摘要生成过程。该数据集通过提供人工标注的个性化摘要及对应的用户画像信息，使得研究者能够训练和评估能够感知用户兴趣的摘要模型。与传统的通用摘要数据集不同，PersonalSum强调摘要内容应随用户而异，从而推动了从“一刀切”式摘要向“千人千面”式摘要的范式转变。这一经典用法为自然语言处理领域开辟了新的研究方向，即用户主观引导的文本生成。

解决学术问题

该数据集精准回应了现有摘要研究中长期存在的两大难题：一是通用摘要无法满足个体差异化的信息需求，二是缺乏真实反映用户偏好的高质量标注语料。PersonalSum通过构建包含用户画像与个性化注释的语料库，使学术界得以系统性地研究用户兴趣与摘要质量之间的内在关联。它填补了从伪数据集或模拟偏好向真实用户偏好过渡的研究空白，为个性化自然语言生成、用户建模以及人机交互等交叉领域提供了坚实的实验基础。

衍生相关工作

PersonalSum的发布催生了一系列富有影响力的后续研究，主要包括基于用户画像的端到端摘要模型、融合偏好嵌入的序列到序列架构，以及利用对比学习区分个性化与通用摘要表征的方法。此外，该数据集还激励了多任务学习框架的探索，将摘要生成与用户兴趣预测联合优化。在评估维度上，研究者基于PersonalSum提出了更贴近用户满意度的评价指标，如偏好一致性得分，从而推动了摘要评估体系从单一文本质量向用户主观价值延伸的演进。