Counterfactually Augmented Data (CAD)

本仓库包含自动生成CAD的材料，使用Polyjuice、ChatGPT和Flan-T5，并比较这些自动生成的CAD与手动CAD在作为训练数据，特别是提高性别歧视和仇恨言论检测模型的域外泛化能力方面的有效性。

This repository contains materials for automatically generating CAD (Computer-Aided Design) using Polyjuice, ChatGPT, and Flan-T5. It compares the effectiveness of these automatically generated CADs with manually created CADs as training data, particularly in enhancing the out-of-domain generalization capabilities of models for detecting gender bias and hate speech.

原始信息汇总

数据集概述

数据内容

• 自动生成的反事实数据：位于data文件夹中，用于评估作为训练数据的有效性，特别是提高性别歧视和仇恨言论检测模型的域外泛化能力。
• 数据集链接：由于许可限制，原始数据集文本未包含在此仓库中，但提供了下载链接。
• 标签信息：包括分类器和ChatGPT给出的标签，存放在results/intermediate/文件夹中。

数据集相关代码

• CAD生成：
  • Polyjuice: generate_polyjuice_cad.py
  • ChatGPT: chatgpt CAD generation.ipynb
  • FlanT5: FLAN-T5.ipynb
• 数据准备：training data prepping.ipynb，用于合并自动和手动CAD。
• 模型训练：
  • 性别歧视: sexism run models.ipynb
  • 仇恨言论: hatespeech run models.ipynb
• 基线模型：
  • ChatGPT: chatgpt fewshot labeling.ipynb
  • Flan T5: FLAN-T5.ipynb
  • Perspective API: augment_data_perspective.py
• RQ1结果处理：rq1 collate results.ipynb
• 描述性属性分析：rq2 CAD properties.ipynb
• V-信息分析：rq2 which cad v_info.ipynb

外部数据集链接

• 性别歧视：
  • ID: 链接
  • OOD1: 链接
  • OOD2: 链接
  • OOD3: 链接
  • Hatecheck (HC): 链接
• 仇恨言论：
  • ID: 链接
  • OOD1: 链接
  • OOD2: 链接
  • OOD3: 链接
  • OOD4: 链接
  • Hatecheck (HC): 链接

搜集汇总

数据集介绍

构建方式

Counterfactually Augmented Data (CAD) 数据集的构建采用了多种自动化生成技术，包括 Polyjuice、ChatGPT 和 Flan-T5。这些技术通过生成反事实数据来增强原始数据集，旨在提升模型在性别歧视和仇恨言论检测任务中的跨领域泛化能力。数据生成过程通过脚本实现，生成的反事实数据与手动生成的反事实数据进行了对比，以评估其作为训练数据的有效性。数据生成后，进一步通过模型训练和测试集预测来验证其效果。

特点

该数据集的特点在于其反事实数据的多样性，涵盖了性别歧视和仇恨言论检测的多个领域。数据集不仅包含自动化生成的反事实数据，还提供了手动生成的反事实数据作为对比。此外，数据集还提供了多个外部数据集的链接，便于用户获取原始文本数据。数据集的标签由分类器和 ChatGPT 生成，确保了标签的多样性和准确性。数据集的结构清晰，代码和数据处理流程详细，便于用户复现和扩展研究。

使用方法

用户可以通过运行提供的脚本来生成反事实数据，并将其与手动生成的反事实数据结合，用于模型训练。数据集的使用方法包括运行 Polyjuice、ChatGPT 和 Flan-T5 的生成脚本，以及结合所有自动化生成的反事实数据进行模型训练。用户还可以使用提供的模型进行性别歧视和仇恨言论检测任务，并通过测试集预测来评估模型性能。此外，用户可以通过链接获取外部数据集，进一步扩展研究范围。

背景与挑战

背景概述

Counterfactually Augmented Data (CAD) 数据集由Sen等人于2023年提出，旨在通过生成反事实数据来增强模型在性别歧视和仇恨言论检测任务中的跨领域泛化能力。该数据集的核心研究问题在于如何通过自动化工具（如Polyjuice、ChatGPT和Flan-T5）生成高质量的反事实数据，并与人工生成的反事实数据进行对比，以评估其对模型性能的提升效果。该研究由多位学者合作完成，并在EMNLP 2023会议上发表。CAD数据集的提出为自然语言处理领域中的有害语言检测提供了新的数据增强方法，推动了模型在复杂社会语境下的应用。

当前挑战

CAD数据集在构建和应用过程中面临多重挑战。首先，生成高质量的反事实数据需要确保其语义连贯性和上下文一致性，这对自动化工具提出了较高要求。其次，如何有效评估自动化生成数据与人工生成数据在模型训练中的效果差异，是一个复杂的研究问题。此外，由于数据集的构建依赖于多个外部数据集，数据获取和整合过程中的版权限制和格式差异也增加了数据处理的难度。最后，如何在跨领域任务中验证模型的泛化能力，尤其是在性别歧视和仇恨言论检测这类敏感领域，仍需进一步探索和优化。

常用场景

经典使用场景

Counterfactually Augmented Data (CAD) 数据集在自然语言处理领域中被广泛用于提升模型在性别歧视和仇恨言论检测任务中的泛化能力。通过生成反事实数据，CAD 能够模拟不同语境下的语言表达，帮助模型更好地理解和识别潜在的偏见和有害内容。这一数据集的使用场景主要集中在训练和评估模型时，尤其是在跨领域泛化能力的测试中，能够显著提升模型的鲁棒性和准确性。

衍生相关工作

CAD 数据集的推出催生了一系列相关研究，特别是在反事实数据生成和模型泛化能力提升方面。例如，基于 CAD 的研究工作探索了如何利用大语言模型（如 ChatGPT 和 Flan-T5）生成高质量的反事实数据，并评估其对模型性能的影响。此外，CAD 还被用于开发新的评估框架，如 V-Information 分析，以更全面地衡量模型在处理多样化数据时的表现。这些工作不仅丰富了自然语言处理领域的研究内容，也为未来的技术发展奠定了基础。

数据集最近研究

最新研究方向

近年来，Counterfactually Augmented Data (CAD) 数据集在自然语言处理领域的研究中引起了广泛关注，尤其是在性别歧视和仇恨言论检测模型的跨领域泛化能力提升方面。通过结合Polyjuice、ChatGPT和Flan-T5等先进语言模型，研究者们能够自动生成反事实增强数据，并与人工生成的数据进行对比，以评估其作为训练数据的有效性。研究表明，尽管自动生成的CAD在某些情况下表现出色，但人工编辑的数据在提升模型性能方面仍具有显著优势。这一发现不仅为未来模型训练提供了新的思路，也为理解语言模型在生成反事实数据时的局限性提供了重要参考。此外，该数据集的研究成果已在EMNLP'23等顶级会议上发表，进一步推动了相关领域的前沿探索。