PERSUASIVE-PAIRS

数据集PERSUASIVE-PAIRS由奥胡斯大学和哥本哈根大学的研究团队创建，包含2697对短文本，旨在评估大型语言模型生成说服性语言的能力。该数据集通过多种语言模型对原始文本进行重写，以增强或减弱其说服力，并通过多重注释在说服力上进行相对评分。数据集内容涵盖新闻摘录和聊天或辩论中的语句，来源包括PT-Corpus、Webis-Clickbait-17等。创建过程中，研究团队使用了多种指令调整的语言模型，如GPT-4和LLaMA3，以确保数据集的多样性和广泛性。该数据集的应用领域主要集中在语言模型的评估和比较，特别是在生成说服性文本的能力上，有助于解决语言模型在不同领域和情境下的应用问题。

The dataset PERSUASIVE-PAIRS was developed by a research team from Aarhus University and the University of Copenhagen. It comprises 2697 pairs of short texts, and is designed to evaluate the ability of large language models (LLMs) to generate persuasive language. During its construction, original texts were rewritten using multiple language models to either enhance or reduce their persuasiveness, and relative scoring on persuasiveness was performed via multiple annotations. The dataset covers news excerpts and statements from chats or debates, with sources including PT-Corpus, Webis-Clickbait-17, and other similar corpora. The research team adopted various instruction-tuned language models such as GPT-4 and LLaMA3 during the creation process to ensure the diversity and broad coverage of the dataset. The main application scenarios of this dataset focus on the evaluation and comparison of language models, particularly their capability to generate persuasive texts, which helps address the application issues of language models across different domains and contexts.

原始信息汇总

Persuasive-Pairs 数据集

概述

Persuasive-Pairs 数据集包含成对短文本，每对文本中一个是来自新闻、辩论或聊天（通过字段 source 查看文本来源），另一个由语言模型（LLM）重写，以包含更多或更少的说服性语言。

标注

每对文本由三名标注者根据说服性语言的程度进行评判：任务是选择哪个文本包含更多的说服性语言，并在普通尺度上选择“略微”、“适度”或“非常”更多。评分是6点制，负分表示文本1比文本2更具说服力，反之亦然。字段 flip 标记LLM（模型）是否被提示生成更多/更少说服性语言，而 gen_place 指示生成文本在每对中的位置。

引用

使用数据时，请引用相关论文。

搜集汇总

数据集介绍

构建方式

PERSUASIVE-PAIRS数据集的构建方式是通过收集不同领域的短文本，并利用大型语言模型（LLM）对文本进行改写，以增强或减弱说服性语言。研究者选择了包括新闻摘录和聊天或辩论中的话语在内的文本，并确保了数据集的多样性。随后，他们使用不同类型的LLM对这些文本进行改写，生成具有不同程度说服性语言的文本对。这些文本对随后被多名标注人员根据相对说服性语言程度进行多轮标注，最终形成了包含2697个短文本对的数据集。

特点

PERSUASIVE-PAIRS数据集的特点在于它提供了一个衡量和比较LLM生成说服性文本能力的基准。数据集中的文本对经过精心标注，以反映说服性语言的相对程度，从而为研究LLM在不同领域和设置中生成说服性语言的能力提供了宝贵的资源。此外，该数据集还展示了不同系统提示如何影响文本的说服力，尤其是在LLaMA3模型中，不同的“角色”设置会显著改变文本的说服力。

使用方法

PERSUASIVE-PAIRS数据集的使用方法包括训练回归模型来预测文本对的相对说服性语言得分。研究者使用DebertaV3-Large模型进行微调，并通过10折交叉验证来评估模型性能。此外，该数据集还可以用于比较不同LLM在不同提示和系统提示下的表现，从而帮助研究者了解LLM在生成说服性文本方面的能力和局限性。

背景与挑战

背景概述

随着大型语言模型（LLMs）在生成文本方面的广泛应用，其生成具有说服力语言的能力引起了广泛关注。PERSUASIVE-PAIRS数据集的创建旨在研究LLMs在不同领域生成具有说服力文本的能力。该数据集由丹麦奥胡斯大学计算机科学系的Amalie Brogaard Pauli和Ira Assent以及哥本哈根大学计算机科学系的Isabelle Augenstein共同构建。数据集包含2697对短文本，每对文本包括原始文本和由LLM改写的文本，旨在增强或减弱说服力。该数据集不仅本身具有价值，还可以用于训练回归模型，以预测文本对之间的说服力分数，从而在各个领域对不同的LLMs进行比较。

当前挑战

PERSUASIVE-PAIRS数据集面临的挑战主要包括：1) 如何准确量化说服力，因为说服力本身难以定义；2) 如何确保数据集的多样性和广泛性，以涵盖不同领域和意图的说服力文本；3) 如何建立有效的评分机制，以便于对新LLMs的说服力生成能力进行评估和比较。此外，研究还发现，系统提示中的不同“角色”会影响LLM生成文本的说服力程度，即使在只要求改写文本的情况下也是如此。这些发现突出了在LLM生成的文本中研究说服力语言的重要性。

常用场景

经典使用场景

PERSUASIVE-PAIRS数据集主要用于评估大型语言模型（LLMs）生成具有说服力的文本的能力。该数据集包含由LLMs生成的文本对，每个文本对由一个简短文本和一个由LLMs改写的文本组成，以增强或减弱说服性语言。这些文本对被多标签注释，以提供一个关于相对说服性语言的量表。该数据集的经典使用场景包括训练回归模型，以预测文本对之间的说服性语言分数，从而为不同LLMs在不同设置下的说服性语言能力提供评分和基准。

解决学术问题

PERSUASIVE-PAIRS数据集解决了评估LLMs生成说服性文本的能力的问题。传统的评估方法通常集中在特定领域或说服类型上，而PERSUASIVE-PAIRS提供了一个跨多个领域的通用研究，以衡量LLMs在生成说服性文本方面的能力。此外，该数据集还解决了衡量说服性语言的问题，因为说服性语言的定义可能难以界定。PERSUASIVE-PAIRS通过使用相对量表和人类直觉来评估说服性语言，提供了一个量化的方法。

衍生相关工作

PERSUASIVE-PAIRS数据集的发布已经催生了许多相关的研究工作。例如，一些研究已经使用该数据集来开发新的LLMs，以生成更具说服力的文本。此外，一些研究还使用该数据集来开发检测和评估说服性文本的工具，以帮助用户识别和避免不希望的说服性语言。最后，PERSUASIVE-PAIRS还可以用于教育和培训，以帮助人们了解说服性语言的影响，并提高他们的批判性思维能力。