IBM ARGQ, CORNELL CMV

IBM ARGQ数据集包含5300个简短、独立的论点，由辩论俱乐部的成员和普通观众在正式辩论活动中生成，并经过众包判断进行标注。CORNELL CMV数据集是从Reddit论坛ChangeMyView中聚合的11567条评论，用户在此论坛上发表观点，并参与旨在改变观点的讨论。这两个数据集分别代表客观论点质量和个性化说服力，被用于分析主观特征（如情感、叙述和缓和语）对论点强度的影响。数据集的创建过程涉及收集、标注和自动标注主观特征。

The IBM ARGQ dataset contains 5,300 short, standalone arguments generated by debate club members and general audiences during formal debate activities, which were annotated via crowdsourced judgments.
The Cornell CMV dataset aggregates 11,567 comments from Reddit’s ChangeMyView forum, where users post their viewpoints and engage in discussions aimed at altering others' perspectives.
These two datasets respectively represent objective argument quality and personalized persuasiveness, and have been utilized to analyze the impact of subjective features (e.g., emotion, narration, and hedges) on argument strength.
The creation workflow of these datasets encompasses data collection, manual annotation, and automatic annotation of subjective features.

原始信息汇总

数据集概述：主观论证强度因素研究

数据集基本信息

• 标题: Investigating Subjective Factors of Argument Strength: Storytelling, Emotions, and Hedging
• 关联论文: Investigating Subjective Factors of Argument Strength: Storytelling, Emotions, and Hedging
• 作者: Carlotta Quensel, Neele Falk, Gabriella Lapesa
• 发布年份: 2025
• 发布会议: 12th Workshop on Argument Mining (ArgMining 2025) at ACL
• 代码仓库: https://github.com/CarlottaQuensel/subjective-argument-strength

数据集内容

• 研究目标: 分析主观因素（情感、故事叙述和模糊限制语）对论证强度的影响。
• 数据特征:
  • 包含情感、故事叙述和模糊限制语三个维度的标注数据。
  • 数据已进行预处理，与原始论文一致。
• 数据目录:
  • data/argument: 论证质量相关数据。
  • data/emotion: 情感相关数据。
  • data/storytelling: 故事叙述相关数据。

实验与复现

• 依赖环境:
  • Python 3.12.6
  • 主要库: forestplot, matplotlib, numpy, pandas, scipy, seaborn, statsmodels
• 实验步骤:
  1. 运行data/目录下的Python脚本整合三个特征的数据。
  2. 运行Jupyter notebooks复现实验结果。
  3. 结果将保存在img目录中，格式为SVG。

引用信息

bib @InProceedings{quensel:2025, author = {Carlotta Quensel and Neele Falk and Gabriella Lapesa}, booktitle = {12th Workshop on Argument Mining (ArgMining 2025) at ACL}, codeurl = {https://github.com/CarlottaQuensel/subjective-argument-strength}, editor = {Elena Chistova and Philipp Cimiano and Shohreh Haddadan and Gabriella Lapesa and Ramon Ruiz-Dolz}, keywords = {args, argument, argument mining, natural language processing, nlp}, month = jul, publisher = {Association for Computational Linguistics}, site = {Wien, Austria}, title = {Investigating Subjective Factors of Argument Strength: Storytelling, Emotions, and Hedging}, year = 2025 }

搜集汇总

数据集介绍

构建方式

IBM ARGQ和CORNELL CMV数据集的构建采用了多源异构方法。IBM ARGQ包含5.3k个由辩论俱乐部成员生成的短论点，通过11个争议性话题引导，并由15-17名标注者对每个论点进行二元判断，最终取平均值作为论点质量评分。CORNELL CMV则从Reddit论坛ChangeMyView中提取11,567条评论，通过独特的delta标记系统（∆）标注说服力，形成平衡的二元标签分布。两个数据集在领域、文本长度和标注程序上存在显著差异，为对比分析主观特征对论证强度的影响提供了理想基础。

特点

这两个数据集的核心特征体现在其多维度的论证质量表征上。IBM ARGQ侧重于客观论证质量，其短文本（≤36词）和去个性化的特点反映了传统论证挖掘领域的logos导向；CORNELL CMV则通过长文本对话和delta机制捕捉个性化说服过程，体现了pathos和ethos策略。特别值得注意的是，数据集通过自动化标注层（情感、叙事、模糊限制语）增强了分析维度，其中情感标注采用掩码训练策略提升跨领域鲁棒性，叙事检测通过混合领域集成模型实现F1=0.82的性能，模糊限制语则基于多词典规则匹配实现表面特征提取。

使用方法

该数据集支持多层次的研究方法：在特征分析层面，可通过回归模型探究主观特征（如愤怒、内疚等离散情感）与论证强度的关联性，其中IBM ARGQ适用线性回归，CORNELL CMV适用逻辑回归。在跨领域对比层面，可利用两数据集在客观质量与主观说服力上的本质差异，验证叙事策略的域依赖性（如IBM ARGQ中β=-0.182，CORNELL CMV中OR=1.148）。此外，自动化标注工具链（如基于RoBERTa的集成分类器）可迁移至新论证文本分析，但需注意情感标签在论证语境中的语义偏移现象。

背景与挑战

背景概述

IBM ARGQ和CORNELL CMV数据集是自然语言处理领域，特别是论证挖掘（Argument Mining）研究中的重要资源。IBM ARGQ由Toledo等人于2019年创建，包含5.3k个短篇论证文本，主要用于评估客观论证质量。CORNELL CMV由Tan等人于2016年构建，数据来源于Reddit的ChangeMyView论坛，包含11,567条评论，旨在研究个性化说服力。这两个数据集分别代表了论证质量的两个不同维度：客观论证质量和主观说服力。它们的研究背景源于对论证质量的多维度理解，尤其是在线论坛和公民参与项目中主观因素的重要性日益凸显。

当前挑战

IBM ARGQ和CORNELL CMV数据集面临的主要挑战包括：1) 领域问题的挑战：论证挖掘领域需要解决如何量化主观因素（如情感、故事叙述和模糊表达）对论证强度的影响，尤其是在不同语境下的表现差异。2) 构建过程中的挑战：数据集的构建需要处理文本长度、领域差异和标注方法的不一致性。例如，IBM ARGQ的论证文本较短且非个人化，而CORNELL CMV的文本较长且包含丰富的个人叙述。此外，自动化标注主观特征（如情感和故事叙述）时，跨领域的泛化能力和数据稀疏性问题也是重要挑战。

常用场景

经典使用场景

IBM ARGQ和CORNELL CMV数据集在计算论证挖掘领域被广泛用于研究主观因素对论证强度的影响。IBM ARGQ数据集包含由辩论俱乐部成员生成的短篇论证，适合分析客观论证质量；而CORNELL CMV数据集则来源于Reddit论坛ChangeMyView，包含用户间的互动讨论，适合研究个性化说服力。这两个数据集的结合使用，为研究者提供了对比分析主观特征（如情感、叙事和模糊表达）在不同论证场景中作用的独特机会。

衍生相关工作

基于IBM ARGQ和CORNELL CMV数据集，研究者们开展了一系列相关工作。例如，Falk和Lapesa（2022）利用这些数据集研究了个人叙事在论证中的作用；Benlamine等人（2017）则分析了情感与论证行为的关系。此外，这些数据集还催生了多个自动论证质量评估模型，如基于Transformer的论证强度预测系统，进一步推动了计算论证挖掘领域的发展。

数据集最近研究

最新研究方向

近年来，IBM ARGQ和CORNELL CMV数据集在计算论证挖掘领域的研究方向主要集中在主观因素对论证强度的影响。随着自然语言处理（NLP）领域对主观性价值的重新评估，研究者们开始关注情感、叙事和模糊表达等主观特征如何影响论证的客观质量和主观说服力。通过回归分析，研究发现叙事和模糊表达在客观论证质量与主观说服力中呈现相反的作用，而情感的影响则取决于其在修辞中的运用方式。这些发现不仅填补了大规模分析主观特征与论证强度关系的空白，还为未来研究提供了新的数据集和自动化标注方法，推动了论证质量评估的多维度发展。

相关研究论文

• Investigating Subjective Factors of Argument Strength: Storytelling, Emotions, and Hedging

  Leibniz University Hannover; University of Stuttgart; Leibniz Institute for the Social Sciences - GESIS & Heinrich Heine University Düsseldorf · 2025年