CUDRT

CUDRT数据集是由中国人民大学信息学院等机构创建，旨在评估人工智能生成文本检测器的性能。该数据集包含中英文两种语言，涵盖新闻文章和学术论文，总计约40000条数据。创建过程中，使用了多种主流大型语言模型生成文本，以模拟真实世界中的文本生成场景。CUDRT数据集的应用领域主要集中在信息安全、版权保护和伦理问题，特别是解决人工智能生成文本与人类创作文本难以区分的问题。The CUDRT dataset was developed by the School of Information, Renmin University of China and other institutions, with the aim of evaluating the performance of AI-generated text detectors. It contains texts in both Chinese and English, spanning news articles and academic papers, with a total of approximately 40,000 instances. During its development, multiple mainstream large language models were utilized to generate texts, simulating real-world text generation scenarios. The CUDRT dataset is primarily applied in the fields of information security, copyright protection and ethical issues, particularly addressing the challenge of distinguishing between AI-generated texts and human-authored works.

搜集汇总

数据集介绍

构建方式

CUDRT数据集基于对大型语言模型文本生成操作的深入分析，将LLM的文本生成任务归纳为五种核心操作：创建（Create）、更新（Update）、删除（Delete）、重写（Rewrite）和翻译（Translate）。数据集构建过程中，首先收集2016年之前的纯人工撰写的新闻和学术论文作为人类文本来源，以确保数据纯净性。随后，利用GPT-4、Llama-3、Qwen1.5、ChatGLM3和Baichuan2等主流双语大模型，针对每种操作生成对应的AI文本。例如，在“创建”操作中，通过设定25%、50%和75%的完成比例进行文本续写；在“问答”子任务中，则从社区、百科、医疗和金融四个领域选取问题，并引导LLM以专家角色生成答案。最终，数据集覆盖中英双语，总计约48万条文本，为AI文本检测提供了全面而精细的测试基础。

特点

CUDRT数据集的核心特点在于其全面性与结构化。首先，它首次系统性地涵盖了LLM文本生成的五种主要操作类型，从创造性生成到信息删减与跨语言转换，完整映射了现实世界中LLM的应用场景。其次，数据集采用中英双语构建，弥补了现有基准多聚焦于英语的不足，尤其针对中文文本的独特语言特性进行了专门设计。此外，数据来源多样化，融合了新闻与学术论文两种风格迥异的文本类型，并引入多个主流LLM（如GPT-4、Llama-3等）生成文本，确保了评估的广泛代表性和挑战性。这种多维度的设计使得CUDRT能够深入揭示不同检测方法在应对复杂生成任务时的泛化能力与局限性。

使用方法

CUDRT数据集专为评估AI生成文本检测器的性能而设计，使用方式灵活且规范。研究者可直接利用数据集中的成对文本（人类撰写与AI生成）进行零样本检测测试，以评估检测器在未见数据上的泛化能力。更深入的用法包括跨操作检测实验，即使用单一操作（如“更新”）生成的文本训练检测模型，再在所有五种操作上测试，以探究模型对不同生成模式的适应能力。同样，可进行跨模型检测，即用单一LLM生成的文本训练后，测试其检测其他LLM文本的效果。数据集提供了标准的训练/测试划分（4:1），并支持MPU、RoBERTa、XLNet等多种主流检测方法的评估，便于进行可重复的对比实验与基准测试。

背景与挑战

背景概述

随着大语言模型（LLMs）如ChatGPT、LLaMA和Qwen的迅猛发展，其文本生成能力已逼近人类水平，在自动补全、问答、摘要翻译等众多场景中广泛应用。然而，LLMs生成文本的高度逼真性带来了信息真伪难辨、版权与伦理等严峻挑战。为应对这一问题，研究者提出了多种AI文本检测方法，但现有基准如MGTBench和HC3多聚焦于单一任务（如问答或润色），且主要针对英文文本，缺乏对中文及多样化生成操作（如创建、更新、删除、重写、翻译）的全面覆盖。为此，来自中国人民大学、上海算法创新研究院和上海财经大学的Zhen Tao、Zhiyu Li、Dinghao Xi和Wei Xu等研究者于2024年构建了CUDRT基准，旨在系统评估AI文本检测器在双语（中英文）及五种核心LLM操作下的性能，填补了当前评估体系的空白，对推动检测技术的泛化性与实际应用具有重要影响。

当前挑战

CUDRT所应对的核心挑战包括领域问题与构建过程两方面。在领域问题层面，现有检测器在跨数据集、跨操作和跨LLM场景下泛化能力不足，例如基于HC3训练的MPU模型对Baichuan和ChatGLM生成的中文文本检测准确率低于0.7，且模型在“创建”与“翻译”操作上的过拟合现象严重，而“更新”“删除”等操作则更易区分。在构建过程中，挑战尤为突出：需确保人类文本纯净性（选用2016年前数据以避免AI污染），同时平衡中英文语料规模（如中文新闻6.5万篇、英文论文17万篇），并针对五种操作设计差异化提示（如“补全”设置25%/50%/75%三种截断比例），此外还需调用GPT-4、Llama-3等主流LLMs生成高质量文本，并保证各操作下文本长度与风格的一致性，以避免长度偏差影响检测公平性。

常用场景

经典使用场景

在自然语言处理领域，随着大型语言模型生成文本的能力日益精进，如何精准区分人类撰写与机器生成的内容已成为一项核心挑战。CUDRT数据集应运而生，其最经典的使用场景在于构建一个覆盖“创建、更新、删除、重写、翻译”五种核心操作的全面双语基准，用以系统性地评估现有AI文本检测器在多样化文本生成任务中的表现。通过涵盖新闻、学术论文、问答社区等多源文本，该数据集为检测模型提供了从简单补全到复杂翻译的丰富测试维度，成为衡量检测器泛化能力与鲁棒性的标准平台。

衍生相关工作

CUDRT数据集的发布催生了一系列富有启发性的衍生研究工作。基于其划分的五大操作类别，研究者们进一步探索了跨操作检测的迁移学习策略，发现以“更新”和“删除”操作数据训练的模型展现出更强的泛化能力。同时，该数据集促使学界关注不同LLMs（如GPT-4与Qwen）生成文本的细粒度差异，推动了针对特定模型族群的定制化检测器开发。此外，CUDRT的跨语言特性激发了多语言检测模型的研究热潮，如利用对比学习或零样本方法实现中英文文本的联合判别，这些工作共同深化了对AI生成文本本质特征的理解。

数据集最近研究

最新研究方向

在当前大语言模型（LLM）文本生成能力迅猛发展的背景下，CUDRT数据集聚焦于构建一个覆盖中英双语的综合性AI文本检测基准，其研究前沿方向在于系统性地定义并模拟LLM的五种核心文本操作——创建、更新、删除、重写与翻译，从而突破现有基准仅针对单一场景或语言的局限。该数据集紧密关联于生成式AI滥用引发的信息真实性危机与学术伦理争议等热点事件，通过跨操作、跨模型、跨数据集的全面评估框架，揭示了现有检测器在不同文本操作下的性能差异与泛化短板。CUDRT的深远意义在于为AI文本检测技术的鲁棒性与多语言适应性设立了新标准，推动了从单一任务检测向多维度、动态化评估范式的演进，为构建更安全、可信的AI应用生态提供了关键支撑。

相关研究论文

• CUDRT: Benchmarking the Detection of Human vs. Large Language Models Generated Texts

  中国人民大学信息学院 · 2024年