Human Detectors

该数据集包含专家对人工撰写和AI生成文章的注释，包括决策（人工撰写或AI生成）、置信度分数和解释。还包括许多自动检测器的输出。数据集用于研究人类如何检测由商业LLM生成的文本，并发布了注释数据集和代码以促进未来研究。

The dataset contains annotations by experts on articles written by humans and generated by AI, including decisions (human-written or AI-generated), confidence scores, and explanations. It also includes outputs from numerous automatic detectors. The dataset is intended for research on how humans detect text generated by commercial LLMs, and both the annotated dataset and the code have been released to facilitate future research.

原始信息汇总

Human Detectors 数据集概述

数据集基本信息

• 名称: Human Detectors
• 作者: Jenna Russell, Marzena Karpinska, Mohit Iyyer
• 论文链接: arXiv:2501.15654
• 研究主题: 人类对商业LLM（GPT-4o, Claude, o1）生成文本的检测能力

数据集内容

• 数据规模: 300篇非虚构英文文章（150篇人类撰写，150篇AI生成）
• 标注信息:
  • 专家标注: 决策（人类撰写或AI生成）、置信度分数、解释
  • 自动检测器输出: 包括多种商业和开源检测器的结果
• 数据格式: JSON文件

数据字段说明

• 文章信息:

  • generation_model: 生成文章的模型名称
  • prompt_id: 唯一提示ID
  • title: 文章标题
  • sub-title: 文章副标题
  • author: 原作者
  • source: 文章来源
  • issue: 发布日期
  • section: 主题部分
  • link: 原文链接
  • article: 用于标注的文章内容
  • id: 唯一ID
  • ground_truth: 真实标签（"Human-written"或"Machine-generated"）

• 自动检测器输出:

  • pangram: pangram检测器输出
  • pangram_humanizers: pangram humanizers检测器输出
  • gptzero: gptzero检测器输出
  • e5_lora: e5_lora检测器输出
  • RADAR: radar检测器输出
  • binoculars_lowfpr: binoculars检测器（低FPR优先）输出
  • binoculars_accuracy: binoculars检测器（准确率优先）输出

• 专家标注:

  • annotator_1至annotator_5: 五位专家的标注
    • guess: 标注标签
    • confidence: 置信度（5分制）
    • comment: 标注理由
  • expert_majority_vote: 专家多数投票结果（至少3/5同意）

研究主要发现

• 经常使用LLM进行写作任务的注释者在检测AI生成文本方面表现出色
• 五位专家的多数投票在300篇文章中仅误分类1篇
• 专家表现优于大多数商业和开源检测器
• 专家依赖词汇线索和更复杂的文本现象（如正式性、原创性、清晰度）

使用说明

• 检测脚本: detect.py支持多种输入格式和批量处理
• 规避脚本: evade.py支持测试规避技术
• 提示: 所有生成文章的提示（包括改写和人性化）可在prompts文件夹中找到

引用信息

bibtex @misc{russell2025peoplefrequentlyusechatgpt, title={People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text}, author={Jenna Russell and Marzena Karpinska and Mohit Iyyer}, year={2025}, eprint={2501.15654}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2501.15654}, }

搜集汇总

数据集介绍

构建方式

Human Detectors数据集的构建是基于对300篇非小说英文文章的专家标注，这些文章被标注为人类撰写或AI生成，并提供了段落的解释。标注者群体由频繁使用大型语言模型进行写作任务的人群组成，他们无需任何专门训练或反馈，便能准确判断AI生成的文本。

使用方法

使用Human Detectors数据集时，研究者可以依据JSON格式存储的标注数据，其中包括文章元数据、标注者信息以及自动检测器的输出。数据集的构建使得研究者能够方便地分析标注者的判断依据以及自动检测器的性能，进而推动AI生成文本检测领域的研究进展。

背景与挑战

背景概述

Human Detectors数据集是在2025年由Jenna Russell、Marzena Karpinska和Mohit Iyyer等研究人员创建的，旨在探究人类是否能有效地识别由商业大型语言模型（如GPT-4o、Claude、o1）生成的文本。该数据集包含了专家对300篇非虚构英文文章的标注，这些标注包括判断文章是人类编写还是AI生成、标注者的置信度评分以及决策的解释。研究结果显示，经常使用LLM进行写作任务的标注者在没有接受任何专门训练或反馈的情况下，对于检测AI生成的文本表现出色。该数据集的发布对于推动人类及自动化AI生成文本检测的研究具有重要意义。

当前挑战

该数据集在研究领域中面临的挑战主要包括：1）如何准确区分人类编写的文本和AI生成的文本，特别是在AI生成的文本采用了一定的规避策略如改写和人性化处理后；2）构建过程中遇到的挑战，如标注者的主观判断可能影响标注结果的准确性，以及自动化检测器在捕捉文本复杂现象（如正式性、原创性、清晰度）方面的局限性。

常用场景

经典使用场景

在人工智能文本检测领域，Human Detectors数据集的典型应用场景在于评估和验证人类标注者对于识别机器生成文本与人类撰写文本的准确性。该数据集提供了标注者基于一系列非小说英文文章的判断，包括是否由人类撰写或机器生成，以及他们决策的信心分数和解释，这对于理解和改进自动检测系统的性能至关重要。

解决学术问题

Human Detectors数据集解决了学术研究中如何准确区分机器生成文本与人类撰写文本的问题。通过专家标注者的判断，该数据集揭示了人类专家在识别AI生成内容上的优势，尤其是在没有专门训练或反馈的情况下。这为研究提供了深入洞见，即人类专家如何依赖特定的词汇线索和复杂的文本现象进行判断，而这些对于自动检测器来说往往是挑战性的。

实际应用

在实际应用中，Human Detectors数据集可以被用于提升和测试自然语言处理系统中的文本检测算法，特别是在对抗性环境下，如文本被改写或人类化以逃避检测。该数据集为开发更加鲁棒的文本检测工具提供了宝贵的数据资源，有助于确保人工智能生成内容的透明度和可追溯性。

数据集最近研究

最新研究方向

在自然语言处理领域，Human Detectors数据集的构建与运用代表了检测AI生成文本能力的一次重要探索。该数据集通过专家标注，对人类编写与AI生成的文章进行了区分，旨在评估人类在无特定训练情况下对AI生成文本的识别准确性。研究表明，频繁使用大型语言模型如ChatGPT的用户在识别AI生成文本方面表现出色，其准确率超越了多数商业和开源检测器。这一发现对于提升AI文本检测技术具有重要价值，不仅推动了人类与自动化检测方法的比较研究，也为后续相关技术的发展提供了可靠的数据支持。