Preference-Dissection/preference-dissection

该数据集基于lmsys/chatbot_arena_conversations，包含了从Chatbot Arena收集的对话数据，并经过过滤和场景分类处理。数据集的主要特征包括用户查询、场景分类、模型生成的响应、GPT-4-Turbo生成的参考响应、用户意图的明确性、情感表达、显式约束、主观立场、错误或偏见等。此外，数据集还包含了人类和多个LLM的偏好标签，以及对响应的基本属性和错误检测的详细注释。

原始信息汇总

数据集概述

数据集信息

特征

• query: 用户查询，数据类型为字符串。
• scenario_auto-j: 由Auto-J分类器分类的场景，数据类型为字符串。
• scenario_group: 从Auto-J场景合并的10个新场景之一，包括一个Unsafe Query场景，数据类型为字符串。
• response_1: 第一个响应的内容，包含以下子字段：
  • content: 文本内容，数据类型为字符串。
  • model: 生成此响应的模型，数据类型为字符串。
  • num_words: 此响应的单词数量，数据类型为int64。
• response_2: 第二个响应的内容，结构与response_1相同。
• gpt-4-turbo_reference: 由GPT-4-Turbo生成的参考响应，数据类型为字符串。
• clear intent: 用户意图是否在查询中清晰表达，数据类型为字符串。
• explicitly express feelings: 用户是否在查询中明确表达情感，数据类型为字符串。
• explicit constraints: 查询中的所有明确约束，数据类型为字符串序列。
• explicit subjective stances: 查询中的所有主观立场，数据类型为字符串序列。
• explicit mistakes or biases: 查询中的所有错误或偏见，数据类型为字符串序列。
• preference_labels: 每个评判者（人类或LLM）的偏好标签，指示在成对响应中哪个更受偏好，包含多个子字段，每个子字段的数据类型为字符串。
• basic_response_1: 第一个响应的20个基本属性（除lengthy外）的标注评分，包含多个子字段，每个子字段的数据类型为int64。
• basic_response_2: 第二个响应的20个基本属性（除lengthy外）的标注评分，结构与basic_response_1相同。
• errors_response_1: 第一个响应的检测错误，包含以下子字段：
  • applicable or not: 是否适用，数据类型为字符串。
  • errors: 检测到的错误列表，每个错误包含以下子字段：
    • brief description: 错误的简要描述，数据类型为字符串。
    • severity: 错误的影响程度，数据类型为字符串。
    • type: 错误的类型，数据类型为字符串。
• errors_response_2: 第二个响应的检测错误，结构与errors_response_1相同。
• query-specific_response_1: 第一个响应的查询特定属性的标注结果，包含多个子字段，数据类型为int64或字符串序列。
• query-specific_response_2: 第二个响应的查询特定属性的标注结果，结构与query-specific_response_1相同。

数据集分割

• train: 训练集，包含5240个样本，总字节数为27617371。

数据集大小

• download_size: 13124269字节。
• dataset_size: 27617371字节。

配置

• default: 默认配置，包含训练集数据文件。

语言

• en: 英语。

数据集名称

• pretty_name: Preference Dissection。

许可证

• license: CC-BY-NC-4.0。

数据集统计

查询特定前提条件样本数

前提条件	样本数	前提条件	样本数
with explicit constraints	1,418	unclear intent	459
show subjective stances	388	express feelings	121
contain mistakes or bias	401

属性平均得分/计数

属性	平均得分/计数	属性	平均得分/计数
平均得分
harmless	2.90	persuasive	0.27
grammarly correct	2.70	step-by-step	0.37
friendly	1.79	use informal expressions	0.04
polite	2.78	clear	2.54
interactive	0.22	contain rich information	1.74
authoritative	1.67	novel	0.47
funny	0.08	relevant	2.45
use rhetorical devices	0.16	clarify intent*	1.33
complex word & sentence	0.89	show empathetic*	1.48
use supporting materials	0.13	satisfy constraints*	2.01
well formatted	1.26	support stances*	2.28
admit limits	0.17	correct mistakes*	1.08
平均计数
severe errors	0.59	minor errors	0.23
moderate errors	0.61	length	164.52