WxWx/ChatGPT-Detector-Bias

---
license: mit
task_categories:
- text-classification
language:
- en
tags:
- ChatGPT
- GPT Detector
- ChatGPT Detector
size_categories:
- n<1K
---

# GPT Detectors Are Biased Against Non-Native English Writers

[](https://lbesson.mit-license.org/)
[](https://www.python.org/downloads/release/python-390/)
[](https://jupyter.org/try)

This repository contains the data and supplementary materials for our paper:

**GPT Detectors Are Biased Against Non-Native English Writers**\
Weixin Liang*, Mert Yuksekgonul*, Yining Mao*, Eric Wu*, James Zou\
arXiv: [2304.02819](https://arxiv.org/abs/2304.02819)

```bibtex
@article{liang2023gpt,
title={GPT detectors are biased against non-native English writers},
author={Weixin Liang and Mert Yuksekgonul and Yining Mao and Eric Wu and James Zou},
year={2023},
eprint={2304.02819},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```

## Abstract
*The rapid adoption of generative language models has brought about substantial advancements in digital communication, while simultaneously raising concerns regarding the potential misuse of AI-generated content. Although numerous detection methods have been proposed to differentiate between AI and human-generated content, the fairness and robustness of these detectors remain underexplored. In this study, we evaluate the performance of several widely-used GPT detectors using writing samples from native and non-native English writers. Our findings reveal that these detectors consistently misclassify non-native English writing samples as AI-generated, whereas native writing samples are accurately identified. Furthermore, we demonstrate that simple prompting strategies can not only mitigate this bias but also effectively bypass GPT detectors, suggesting that GPT detectors may unintentionally penalize writers with constrained linguistic expressions. Our results call for a broader conversation about the ethical implications of deploying ChatGPT content detectors and caution against their use in evaluative or educational settings, particularly when they may inadvertently penalize or exclude non-native English speakers from the global discourse.*

<p align='center'>
<img width="636" src="https://user-images.githubusercontent.com/32794044/230640445-8d1221d4-8651-4cf4-b6d7-b6d440d6e0f5.png">
<br>
<b>Figure 1: Bias in GPT detectors against non-native English writing samples.</b>
</p>
(a) Performance comparison of seven widely-used GPT detectors. More than half of the non-native-authored TOEFL (Test of English as a Foreign Language) essays are incorrectly classified as "AI-generated," while detectors exhibit near-perfect accuracy for college essays.
Using ChatGPT-4 to improve the word choices in TOEFL essays (Prompt: "Enhance the word choices to sound more like that of a native speaker.") significantly reduces misclassification as AI-generated text.
(b) TOEFL essays unanimously misclassified as AI-generated show significantly lower perplexity compared to others, suggesting that GPT detectors might penalize authors with limited linguistic expressions.

<p align='center'>
<img width="100%" src="https://user-images.githubusercontent.com/32794044/230640270-e6c3d0ca-aabd-4d13-8527-15fed1491050.png">
<br>
<b>Figure 2: Simple prompts effectively bypass GPT detectors.</b>
</p>
(a) For ChatGPT-3.5 generated college admission essays, the performance of seven widely-used GPT detectors declines markedly when a second-round self-edit prompt ("Elevate the provided text by employing literary language") is applied, with detection rates dropping from up to 100% to up to 13%.
(b) ChatGPT-3.5 generated essays initially exhibit notably low perplexity; however, applying the self-edit prompt leads to a significant increase in perplexity.
(c) Similarly, in detecting ChatGPT-3.5 generated scientific abstracts, a second-round self-edit prompt ("Elevate the provided text by employing advanced technical language") leads to a reduction in detection rates from up to 68% to up to 28%.
(d) ChatGPT-3.5 generated abstracts have slightly higher perplexity than the generated essays but remain low. Again, the self-edit prompt significantly increases the perplexity.

## Repo Structure Overview

```
.
├── README.md
├── data/
├── human_data/
├── TOEFL_real_91/
├── name.json
├── data.json
├── TOEFL_gpt4polished_91/
├── ...
├── CollegeEssay_real_70/
├── CS224N_real_145/
├── gpt_data/
├── CollegeEssay_gpt3_31/
├── CollegeEssay_gpt3PromptEng_31/
├── CS224N_gpt3_145/
├── CS224N_gpt3PromptEng_145/
```

The `data` folder contains the human-written and AI-generated datasets used in our study. Each subfolder contains a `name.json` file, which provides the metadata, and a `data.json` file, which contains the text samples.

## Reference
```bibtex
@article{liang2023gpt,
title={GPT detectors are biased against non-native English writers},
author={Weixin Liang and Mert Yuksekgonul and Yining Mao and Eric Wu and James Zou},
year={2023},
eprint={2304.02819},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```

license: mit
任务类别：
- 文本分类
语言：
- 英语
标签：
- ChatGPT
- GPT检测器（GPT Detector）
- ChatGPT检测器（ChatGPT Detector）
样本量范畴：
- n<1K
---

# GPT检测器对非英语母语写作者存在偏见
[](https://lbesson.mit-license.org/)
[](https://www.python.org/downloads/release/python-390/)
[](https://jupyter.org/try)

本仓库包含我们发表的论文《GPT检测器对非英语母语写作者存在偏见》相关的数据与补充材料：
**GPT检测器对非英语母语写作者存在偏见**
作者：梁伟鑫*、默特·于克塞克贡乌尔*、毛伊宁*、吴埃里克*、邹健
arXiv：[2304.02819](https://arxiv.org/abs/2304.02819)

bibtex
@article{liang2023gpt,
title={GPT检测器对非英语母语写作者存在偏见},
author={Weixin Liang and Mert Yuksekgonul and Yining Mao and Eric Wu and James Zou},
year={2023},
eprint={2304.02819},
archivePrefix={arXiv},
primaryClass={cs.CL}
}

## 摘要
*随着生成式语言模型的快速普及，数字通信领域取得了长足进步，但同时也引发了人们对AI生成内容被滥用的担忧。尽管学界已提出诸多检测方法以区分AI生成与人类撰写的文本，但此类检测器的公平性与鲁棒性仍未得到充分探索。本研究利用英语母语者与非母语者的写作样本，对多款主流GPT检测器的性能展开评估。结果显示，这些检测器会持续将非英语母语者的写作样本误判为AI生成内容，却能准确识别母语者的写作。此外，我们证明简单的提示策略不仅可以缓解这一偏见，还能有效绕过GPT检测器，这表明GPT检测器可能会无意中惩罚语言表达受限的写作者。我们的研究结果呼吁学界就部署ChatGPT内容检测器的伦理影响展开更广泛的讨论，并警示切勿在评估或教育场景中使用此类检测器，尤其是当它们可能无意中惩罚或排斥非英语母语者参与全球学术与公共话语时。*

<p align='center'>
<img width="636" src="https://user-images.githubusercontent.com/32794044/230640445-8d1221d4-8651-4cf4-b6d7-b6d440d6e0f5.png">
<br>
<b>图1：GPT检测器对非英语母语写作样本的偏见</b>
</p>
(a) 七款主流GPT检测器的性能对比：超过半数由非母语者撰写的托福（Test of English as a Foreign Language）作文被错误归类为“AI生成”，而检测器对大学作文的识别准确率接近完美。使用ChatGPT-4优化托福作文的用词（提示词：“优化用词，使其更符合母语者表达习惯”）可显著降低其被误判为AI生成内容的比例。
(b) 被一致误判为AI生成的托福作文，其困惑度（perplexity）显著低于其他样本，这表明GPT检测器可能会惩罚语言表达能力有限的作者。

<p align='center'>
<img width="100%" src="https://user-images.githubusercontent.com/32794044/230640270-e6c3d0ca-aabd-4d13-8527-15fed1491050.png">
<br>
<b>图2：简单提示可有效绕过GPT检测器</b>
</p>
(a) 对于ChatGPT-3.5生成的大学申请文书，当应用第二轮自我编辑提示（“使用文学性语言提升文本质量”）后，七款主流GPT检测器的检测性能显著下降，检测率从最高100%降至最高13%。
(b) ChatGPT-3.5生成的文书初始困惑度显著偏低，但经过自我编辑提示处理后，困惑度显著提升。
(c) 类似地，在检测ChatGPT-3.5生成的学术摘要时，第二轮自我编辑提示（“使用高级专业语言提升文本质量”）可将检测率从最高68%降至最高28%。
(d) ChatGPT-3.5生成的摘要困惑度略高于生成的文书，但仍处于较低水平。同样，自我编辑提示可显著提升其困惑度。

## 仓库结构概览

.
├── README.md
├── data/
├── human_data/
├── TOEFL_real_91/
├── name.json
├── data.json
├── TOEFL_gpt4polished_91/
├── ...
├── CollegeEssay_real_70/
├── CS224N_real_145/
├── gpt_data/
├── CollegeEssay_gpt3_31/
├── CollegeEssay_gpt3PromptEng_31/
├── CS224N_gpt3_145/
├── CS224N_gpt3PromptEng_145/

`data`文件夹包含本研究使用的人类撰写与AI生成的数据集。每个子文件夹均包含一个`name.json`文件（提供元数据）与一个`data.json`文件（包含文本样本）。

## 参考文献
bibtex
@article{liang2023gpt,
title={GPT检测器对非英语母语写作者存在偏见},
author={Weixin Liang and Mert Yuksekgonul and Yining Mao and Eric Wu and James Zou},
year={2023},
eprint={2304.02819},
archivePrefix={arXiv},
primaryClass={cs.CL}
}

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 任务类别: 文本分类
• 语言: 英语
• 标签: ChatGPT, GPT Detector, ChatGPT Detector
• 数据集大小: n<1K

数据集内容

• 数据集名称: GPT Detectors Are Biased Against Non-Native English Writers
• 论文标题: GPT Detectors Are Biased Against Non-Native English Writers
• 作者: Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou
• 年份: 2023
• arXiv链接: 2304.02819

数据集结构

• 数据目录: data/
  • 人类写作数据:
    • TOEFL_real_91/
    • TOEFL_gpt4polished_91/
    • CollegeEssay_real_70/
    • CS224N_real_145/
  • AI生成数据:
    • CollegeEssay_gpt3_31/
    • CollegeEssay_gpt3PromptEng_31/
    • CS224N_gpt3_145/
    • CS224N_gpt3PromptEng_145/

数据文件

• 每个子文件夹包含一个 name.json 文件（元数据）和一个 data.json 文件（文本样本）。

搜集汇总

数据集介绍

构建方式

该数据集源自一项针对GPT检测器公平性的系统性研究，由Weixin Liang等人构建。研究团队收集了非英语母语者的TOEFL作文、英语母语者的大学申请论文以及科学摘要等多样化的写作样本，并利用ChatGPT-3.5对部分非母语文本进行润色以模拟母语表达。同时，通过设计二次自编辑提示（如“使用文学语言提升文本”），生成经过提示工程处理的AI文本。所有样本均以JSON格式存储，包含元数据和文本内容，为探究检测器偏差提供了结构化数据基础。

特点

本数据集的核心特点在于揭示了当前主流GPT检测器对非英语母语写作者的系统性偏见。实验表明，超过半数的TOEFL作文被错误归类为AI生成，而母语写作者的文本则被准确识别。此外，数据集展示了简单的提示策略（如词句润色）即可显著降低检测率，甚至从接近100%降至13%，凸显了检测器在语言多样性面前的脆弱性。这一特征使其成为研究AI内容检测公平性与鲁棒性的关键资源。

使用方法

数据集适用于文本分类与公平性分析任务，可直接加载JSON文件中的文本及元数据。用户可通过划分人类撰写与AI生成的子集（如TOEFL_real_91与CollegeEssay_gpt3_31）来复现检测偏差实验，或利用提示工程后的样本（如gpt4polished_91）评估去偏策略。推荐结合预训练检测器（如OpenAI的GPT-2 Output Detector）进行模型评估，并关注不同语言背景下的分类性能差异。

背景与挑战

背景概述

随着生成式语言模型的迅猛发展，人工智能生成内容在数字通信中带来了显著进步，但也引发了对其潜在滥用的担忧。为应对这一挑战，多种检测方法被提出以区分AI与人类生成内容。然而，这些检测器的公平性与鲁棒性尚未得到充分探索。2023年，由Weixin Liang、Mert Yuksekgonul、Yining Mao、Eric Wu及James Zou组成的研究团队在斯坦福大学等机构支持下，开创性地构建了ChatGPT-Detector-Bias数据集。该数据集聚焦于一个核心研究问题：广泛使用的GPT检测器是否对非母语英语写作者存在偏见？通过收集TOEFL考试作文、大学申请文书及科学摘要等多样化的写作样本，该研究揭示了检测器在识别非母语写作者文本时系统性误判为AI生成的严重缺陷。这一发现对教育评估、内容审核及全球学术交流等领域产生了深远影响，促使学界重新审视AI检测技术的伦理边界与应用场景。

当前挑战

该数据集所揭示的挑战主要体现在两个层面。首先，在领域问题层面，当前GPT检测器普遍存在对非母语英语写作者的系统性偏见，超过半数的非母语TOEFL作文被错误分类为AI生成，而母语写作者文本的识别准确率却近乎完美。这种偏见源于检测器过度依赖文本困惑度等统计特征，非母语写作者的表达受限导致其文本困惑度较低，从而被误判。其次，在数据集构建过程中，研究团队面临多重困难：需要收集具有代表性的母语与非母语写作者样本，确保文本类型（如TOEFL作文与大学文书）的可比性；同时，还需设计精确的元数据标注（如写作者语言背景）以支持偏见分析。此外，通过提示策略（如要求ChatGPT-4优化非母语文本的词汇选择）展示检测器可被轻易绕过，进一步凸显了当前检测技术的脆弱性，为构建更公平、鲁棒的AI内容检测系统提出了严峻挑战。

常用场景

经典使用场景

该数据集最经典的用途在于评估和验证GPT检测器在面对不同语言背景写作者时的公平性。研究者通过对比非母语英语写作者（如TOEFL考生）与母语写作者的文本，系统性地揭示了检测器对非母语文本的误判倾向，从而为检测算法的鲁棒性与偏见分析提供了关键的实验基准。

解决学术问题

该数据集深刻揭露了当前GPT检测器在公平性维度上的盲区，解决了学术界对AI生成内容检测工具潜在偏见缺乏实证研究的问题。其意义在于警示研究者与教育者，盲目依赖检测器可能对非母语英语群体造成系统性不公，并推动了检测算法向更包容、更公正的方向演进。

衍生相关工作

该数据集衍生了一系列关于提示策略对检测器影响的研究，例如通过简单的语言润色提示（如'增强词汇选择以更接近母语者'）即可显著降低检测器的识别率。这些工作进一步揭示了检测器的脆弱性，并催生了针对对抗性提示的鲁棒性检测方法，以及更注重语言多样性的公平检测器设计思路。