APauli/Persuasive-Pairs

该数据集由成对的短文本组成，其中一个文本来自新闻、辩论或聊天（通过source字段标识来源），另一个文本是由大型语言模型（LLM）重写的，以包含更多或更少的说服性语言。这些文本对由三位注释者根据说服性语言的程度进行评判，任务是从两个文本中选择哪个包含更多的说服性语言，并在略微、中等或高度三个等级上评估其差异。数据集还提供了一个6分的评分系统，负分表示第一个文本比第二个文本更具说服力，反之亦然。flip标记表示LLM是否被提示生成更多或更少的说服性语言，gen_place表示生成文本在文本对中的位置。

The dataset consists of pairs of short-text; one from a news, debate or chat (see field source to see where the text originates from), one rewritten by LLM to contain more or less persuasive language. The pairs are judged on degrees of persuasive language by three annotators: the task is to select which text contains much persuasive language and how much more on an ordinary scale with marginally, moderately, or heavily more. Flatten out the score is a 6-point score. Minus scores indicate text1 is more persuasive sounding than text2, and vice versa. The flip mark if the LLM (model) where prompted to generate more/less. The gen_place indicates which positions in the pairs are the generate-text.

原始信息汇总

Persuasive-Pairs 数据集概述

数据集描述

• 名称: Persuasive-Pairs
• 语言: 英语
• 标签:
  • 说服性
  • 成对文本
• 大小: 1K<n<10K
• 许可: CC BY-NC 4.0

数据内容

• 文本来源: 新闻、辩论或聊天
• 文本类型:
  • 原始短文本
  • 由LLM重写的短文本，包含更多或更少说服性语言
• 评分机制:
  • 由三名标注者对文本的说服性进行评分
  • 评分范围为6点，负分表示文本1比文本2更具说服性，反之亦然
  • 评分描述包括“略微”、“适度”或“非常”更多说服性
• 附加信息:
  • flip标记表示LLM是否被提示生成更多/更少说服性文本
  • gen_place指示生成文本在成对文本中的位置

引用

• 使用数据时请引用相关论文: https://arxiv.org/abs/2406.17753