ea_justification
收藏资源简介：
该数据集是情感诉求（Emotional Appeal）论证注释数据集，包含1176个样本，每个样本由5名注释者从多个维度进行评分。数据来源包括英国议会辩论记录（Hansard）和问答材料（QAM）。参数文本既有真实来源，也有通过模型生成的合成版本；上下文文本同样包含原始版本和经过扰动（调整情感方面和强度）的版本。每一行数据记录了：数据集来源、条目ID、采样顺序、注释批次；主题与参数文本、原始参数、参数生成状态（真实或合成）；情感诉求注入模型、来源情感诉求类型及强度；上下文文本、原始上下文及扰动状态；扰动模型、方面（如magnitude, probability等）及目标级别；原始/扰动上下文配对信息。注释者层面包含：5个匿名注释者ID、对参数-上下文支持度的评分（-3到3）、主要情感诉求类型（9种标签）、情感诉求强度（1-5）、情感类型与参数的拟合度（1-5或不可用）、证据比例性评分（1-5或不可用）及其理由、规范性可接受性评分（1-5或不可用）、整体合理性评分（1-5或不可用）。此外，数据集还提供了基于所有5个注释者的多数投票聚合标签，以及论文分析中选定的前3位注释者的多数投票聚合标签。该数据集适用于论证挖掘、情感分析、计算社会科学中的情感诉求合理性评估任务。
This dataset is an Emotional Appeal argument annotation dataset containing 1,176 samples, each rated by 5 annotators across multiple dimensions. Data sources include the UK parliamentary debate records (Hansard) and question-answer materials (QAM). The argument texts include both real sources and synthetic versions generated by models; the context texts also include original versions and perturbed versions (with adjusted emotional aspects and intensities). Each row records: dataset source, entry ID, sampling order, annotation batch; topic and argument text, original argument, argument generation status (real or synthetic); emotional appeal injection model, source emotional appeal type and intensity; context text, original context, and perturbation status; perturbation model, aspect (e.g., magnitude, probability) and target level; original/perturbed context pairing information. The annotator level includes: 5 anonymous annotator IDs, argument-context support rating (-3 to 3), primary emotional appeal type (9 labels), emotional appeal intensity (1-5), fit of emotion type to argument (1-5 or N/A), evidence proportionality rating (1-5 or N/A) with rationale, normative acceptability rating (1-5 or N/A), and overall plausibility rating (1-5 or N/A). Additionally, the dataset provides majority-vote aggregated labels based on all 5 annotators, as well as majority-vote aggregated labels from the top 3 annotators selected in the paper analysis. This dataset is suitable for tasks such as argument mining, sentiment analysis, and evaluation of emotional appeal plausibility in computational social science.
数据集概述：nllg/ea_justification
这是一个用于论证质量评估的标注数据集，包含情感诉求（Emotional Appeal）与论证合理性判断的人工标注数据。
基本信息
- 许可证：CC-BY-4.0
- 数据规模：共 1,176 行数据，83 个数据列
- 文件：
ea_justification_annotations.csv
数据内容与结构
数据列按功能分为以下几组：
| 列组 | 数量 | 说明 |
|---|---|---|
| 来源标识 | 4 | 包括数据集来源（hansard 或 qam）、条目 ID、采样排序及标注批次 |
| 论证文本 | 4 | 主题、论证文本、原始论证，以及生成状态（真实或合成） |
| 情感诉求生成信息 | 3 | 生成模型、情感诉求类型（共 7 种）、诉求强度（范围 2–5） |
| 上下文信息 | 3 | 呈现的上下文、原始上下文及扰动状态（真实或合成） |
| 上下文扰动设置 | 3 | 扰动模型、扰动方面（mag/prob/ris/sprox/tprox）、目标水平（低/中/高） |
| 上下文配对 | 2 | 原始/扰动上下文的配对关系与角色 |
| 标注者ID | 5 | 每位标注者的匿名化标识 |
| 上下文支持度 | 5 | 论据与上下文匹配程度（范围 −3 至 3） |
| 情感诉求类型 | 5 | 标注者识别的主要情感诉求（共 9 种标签） |
| 情感诉求强度 | 5 | 情感诉求强度（范围 1–5） |
| 情感类型契合度 | 5 | 论证与识别情感类型的匹配程度（1–5 或不可用） |
| 证据相称性 | 5 | 诉求与其证据/上下文的相称程度（1–5 或不可用） |
| 证据相称性原因 | 5 | 以管道符分隔的相称性评级原因（从 9 个原因标签中选择） |
| 规范可接受性 | 5 | 规范层面的可接受度评分（1–5 或不可用） |
| 整体论证合理性 | 5 | 整体合理性评分（1–5 或不可用） |
| 论文分析标注者 | 3 | 每批次选取用于论文分析的标注者 ID |
| 多数聚合结果 | 16 | 对所有标注者（8 列）及论文所选前三名标注者（8 列）的多数投票聚合结果，覆盖上述 8 个评分维度 |
数据特点
- 数据来源于两套语料：
hansard（议会辩论记录）和qam（问答匹配数据） - 论证文本和上下文均包含真实与合成两类，合成数据由模型生成
- 每条数据由 5 位标注者独立标注，覆盖情感诉求识别、强度判断、证据相称性、规范可接受性及整体合理性等多个维度
- 提供两种粒度的多数投票聚合结果，便于后续分析使用
