Human Detectors
收藏资源简介：
该数据集包含专家对人工撰写和AI生成文章的注释，包括决策（人工撰写或AI生成）、置信度分数和解释。还包括许多自动检测器的输出。数据集用于研究人类如何检测由商业LLM生成的文本，并发布了注释数据集和代码以促进未来研究。
The dataset contains annotations by experts on articles written by humans and generated by AI, including decisions (human-written or AI-generated), confidence scores, and explanations. It also includes outputs from numerous automatic detectors. The dataset is intended for research on how humans detect text generated by commercial LLMs, and both the annotated dataset and the code have been released to facilitate future research.
Human Detectors 数据集概述
数据集基本信息
- 名称: Human Detectors
- 作者: Jenna Russell, Marzena Karpinska, Mohit Iyyer
- 论文链接: arXiv:2501.15654
- 研究主题: 人类对商业LLM（GPT-4o, Claude, o1）生成文本的检测能力
数据集内容
- 数据规模: 300篇非虚构英文文章（150篇人类撰写，150篇AI生成）
- 标注信息:
- 专家标注: 决策（人类撰写或AI生成）、置信度分数、解释
- 自动检测器输出: 包括多种商业和开源检测器的结果
- 数据格式: JSON文件
数据字段说明
-
文章信息:
generation_model: 生成文章的模型名称prompt_id: 唯一提示IDtitle: 文章标题sub-title: 文章副标题author: 原作者source: 文章来源issue: 发布日期section: 主题部分link: 原文链接article: 用于标注的文章内容id: 唯一IDground_truth: 真实标签（"Human-written"或"Machine-generated"）
-
自动检测器输出:
pangram: pangram检测器输出pangram_humanizers: pangram humanizers检测器输出gptzero: gptzero检测器输出e5_lora: e5_lora检测器输出RADAR: radar检测器输出binoculars_lowfpr: binoculars检测器（低FPR优先）输出binoculars_accuracy: binoculars检测器（准确率优先）输出
-
专家标注:
annotator_1至annotator_5: 五位专家的标注guess: 标注标签confidence: 置信度（5分制）comment: 标注理由
expert_majority_vote: 专家多数投票结果（至少3/5同意）
研究主要发现
- 经常使用LLM进行写作任务的注释者在检测AI生成文本方面表现出色
- 五位专家的多数投票在300篇文章中仅误分类1篇
- 专家表现优于大多数商业和开源检测器
- 专家依赖词汇线索和更复杂的文本现象（如正式性、原创性、清晰度）
使用说明
- 检测脚本:
detect.py支持多种输入格式和批量处理 - 规避脚本:
evade.py支持测试规避技术 - 提示: 所有生成文章的提示（包括改写和人性化）可在
prompts文件夹中找到
引用信息
bibtex @misc{russell2025peoplefrequentlyusechatgpt, title={People who frequently use ChatGPT for writing tasks are accurate and robust detectors of AI-generated text}, author={Jenna Russell and Marzena Karpinska and Mohit Iyyer}, year={2025}, eprint={2501.15654}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2501.15654}, }
