CROWDCOUNTER

CROWDCOUNTER数据集由印度理工学院创建，是一个专门用于评估特定类型反仇恨言论生成的新型基准数据集。该数据集包含3425对仇恨言论与反仇恨言论的配对，涵盖六种不同的反仇恨言论类型（同理心、幽默、质疑、警告、羞辱、矛盾）。数据集的创建过程包括从HateXplain数据集中采样仇恨言论，并通过众包平台设计避免常见陷阱的注释框架，确保注释者撰写特定类型的反仇恨言论，从而保证响应的多样性。CROWDCOUNTER数据集的应用领域主要集中在开发反仇恨言论生成工具，旨在帮助社交媒体管理员和用户有效地应对仇恨言论，同时维护言论自由。The CROWDCOUNTER dataset was developed by the Indian Institute of Technology, and it is a novel benchmark dataset specifically tailored for evaluating the generation of a specific category of anti-hate speech. This dataset comprises 3425 paired samples of hate speech and anti-hate speech, covering six distinct types of anti-hate speech: empathy, humor, questioning, warning, shaming, and contradiction. The development pipeline of the CROWDCOUNTER dataset includes sampling hate speech from the HateXplain dataset, and designing an annotation framework via crowdsourcing platforms to circumvent common pitfalls, ensuring that annotators generate anti-hate speech of the specified types, thereby guaranteeing the diversity of the responses. The primary application scope of the CROWDCOUNTER dataset lies in developing anti-hate speech generation tools, which aims to assist social media administrators and users in effectively addressing hate speech while preserving freedom of speech.

原始信息汇总

CrowdCounter: A benchmark type-specific multi-target counterspeech dataset

概述

CrowdCounter 是一个包含 3,425 对仇恨言论与反驳言论的数据集，涵盖六种不同的反驳类型（同理心、幽默、质疑、警告、羞辱、矛盾）。该数据集旨在为开发反驳言论生成工具提供高质量和多样化的数据支持。

数据集特点

• 类型多样性：包含六种不同的反驳类型。
• 高质量：通过特定的标注平台设计，鼓励标注者编写类型特定、非冗余且高质量的反驳言论。

数据集结构

• 训练数据：用于模型微调的训练数据源。
• 验证数据：用于模型微调的验证数据源。
• 测试数据：用于模型微调的测试数据源。

使用方法

环境设置

在运行任何脚本之前，设置以下环境变量： bash export TF_CPP_MIN_LOG_LEVEL=1 export WANDB_DISABLED=true export TRANSFORMERS_NO_ADVISORY_WARNINGS=true export TOKENIZERS_PARALLELISM=false

模型微调

• 文件名：finetuning.py
• 微调标志：
  • --train_data：训练数据源
  • --val_data：验证数据源
  • --test_data：测试数据源
  • --train_sizes：训练数据大小
  • --val_sizes：验证数据大小
  • --test_sizes：测试数据大小
  • --model：模型名称
  • --model_path：模型路径
  • --type_specific：启用类型特定生成
  • --train_batch_size：训练批次大小
  • --val_batch_size：验证批次大小
  • --num_epochs：训练轮数
  • --num_workers：数据加载器工作线程数
  • --lr：学习率
  • --q4bit：量化
  • --peft：Peft
  • --fp16：半精度
  • --grad_ckpt：梯度检查点

生成样本

• 文件名：generation.py
• 生成标志：
  • --model_path：模型路径
  • --save_path：保存路径
  • --device：设备（CPU/GPU）
  • --causal_lm：因果语言建模
  • --seq2seq_lm：序列到序列语言建模
  • --test_data：测试数据源
  • --test_sizes：测试数据大小
  • --random_seed：随机种子
  • --q4bit：量化
  • --peft：Peft
  • --type_specific：启用类型特定生成
  • --batch_size：批次大小

评分

• 文件名：scoring.py
• 评分标志：
  • --file_name：Generated_Samples 文件夹中的文件名

引用

请在任何使用这些资源发表的作品中引用我们的论文。

搜集汇总

数据集介绍

构建方式

CROWDCOUNTER数据集通过精心设计的众包平台构建，旨在收集高质量、多样化的仇恨言论与反驳言论对。首先，利用HateXplain数据集中的仇恨言论样本，确保了样本的多样性和社交媒体方言的代表性。随后，通过众包平台，鼓励标注者针对每条仇恨言论撰写特定类型的反驳言论，从而确保反驳言论的多样性。最终，数据集包含了3,425对仇恨言论与反驳言论，涵盖六种不同的反驳类型（同理心、幽默、质疑、警告、羞辱、矛盾），每条仇恨言论平均对应2.58条反驳言论。

使用方法

CROWDCOUNTER数据集可用于训练和评估生成反驳言论的模型。研究者可以使用该数据集进行模型的微调，以生成特定类型的反驳言论。数据集还支持两种框架的评估：普通提示和类型控制提示。通过这些框架，研究者可以评估模型在生成反驳言论时的相关性、多样性和质量。此外，数据集的公开代码和标注框架为未来的研究提供了可重复性和扩展性。

背景与挑战

背景概述

在当前社会，仇恨言论和攻击性语言的泛滥已成为一个显著问题，传统的封禁和暂停用户账号的措施不仅无效，还违背了言论自由的原则。因此，社会科学家们正转向替代性的缓解策略，其中之一便是反言论（counterspeech）。反言论通过建设性和说服性的回应来应对辱骂或仇恨语言，尽管它遵循言论自由的原则，但也带来了挑战，特别是对版主或用户编写有效反言论的要求。为此，全球的研究人员正尝试开发基于自然语言生成（NLG）的建议工具，以帮助版主编写反言论。然而，构建此类工具的一个主要挑战是缺乏高质量且多样化的仇恨言论-反言论对数据集。为此，我们引入了CROWDCOUNTER数据集，这是一个包含3,425对仇恨言论-反言论的基准数据集，涵盖六种不同的反言论类型（同理心、幽默、质疑、警告、羞辱、矛盾），这是同类数据集中的首创。

当前挑战

CROWDCOUNTER数据集面临的挑战主要包括两个方面：一是解决领域问题的挑战，即如何有效地生成和评估反言论，以应对在线仇恨言论；二是构建过程中遇到的挑战，如缺乏高质量和多样化的反言论数据，以及现有数据集中仇恨言论实例的合成性质，导致基于这些数据集构建的反言论生成系统无法在实际社交媒体平台上部署。此外，数据集的构建还需要避免对专家的过度依赖，以确保其可扩展性。CROWDCOUNTER通过使用HateXplain数据集收集多样化的仇恨言论样本，并设计了一个基于众包的注释平台，鼓励注释者编写特定类型的反言论，从而确保了数据集的多样性和高质量。

常用场景

经典使用场景

CROWDCOUNTER数据集的经典使用场景在于其为多目标反仇恨言论提供了丰富的数据支持，特别是在六种不同类型的反仇恨言论（同理心、幽默、质疑、警告、羞辱、矛盾）方面。该数据集通过3,425对仇恨言论与反仇恨言论的配对，为开发和评估反仇恨言论生成工具提供了基准。研究者可以利用此数据集训练和测试语言模型，以生成更具相关性、多样性和质量的反仇恨言论，从而在社交媒体平台上有效应对仇恨言论。

解决学术问题

CROWDCOUNTER数据集解决了现有反仇恨言论数据集在质量和多样性方面的不足，特别是在特定类型反仇恨言论的缺乏上。该数据集通过引入多种类型的反仇恨言论，填补了学术研究中的空白，使得研究者能够更全面地探索和评估反仇恨言论生成模型。这不仅提升了模型的性能，还为理解和应对在线仇恨言论提供了新的视角和方法。

实际应用

在实际应用中，CROWDCOUNTER数据集为社交媒体平台提供了一个强大的工具，帮助平台管理员和用户生成有效的反仇恨言论。通过使用该数据集训练的模型，平台可以自动或半自动地生成反仇恨言论，从而及时回应和缓解仇恨言论带来的负面影响。这不仅有助于维护平台的健康环境，还能促进言论自由与社会和谐的平衡。

数据集最近研究

最新研究方向

在对抗网络仇恨言论的领域，CROWDCOUNTER数据集的最新研究方向聚焦于开发和评估特定类型的反仇恨言论生成工具。该数据集通过收集和标注3,425对仇恨言论与反仇恨言论的样本，涵盖六种不同的反仇恨言论类型（同理心、幽默、质疑、警告、羞辱、矛盾），为研究提供了丰富的资源。研究者们利用这一数据集，评估了四种大型语言模型在生成反仇恨言论方面的表现，特别是在使用普通提示和类型控制提示两种框架下的效果。研究结果表明，类型特定的提示能够提高生成反仇恨言论的相关性，但可能会略微降低语言质量。这一研究不仅推动了反仇恨言论生成技术的发展，也为未来在该领域的进一步探索奠定了基础。

相关研究论文

• CrowdCounter: A benchmark type-specific multi-target counterspeech dataset

  印度理工学院 · 2024年