AI写作检测数据集-中英文论文构造

## 1. 数据总览 | 子集 | 来源 | 文档数 | train / val / test | |---|---|---|---| | `zh/` | 中文期刊论文（软件学报 118 篇） | 118 | 186,640 / 36,189 / 29,932 | | `zh_med/` | 中文医学摘要（中华医学会等 8,000 篇） | 8,000 | 325,300 / 65,420 / 65,850 | | `en/` | arXiv 2007–2017（808 篇） | 808 | 783,372 / 150,857 / 145,470 | 标签分布（train）： | 子集 | human | deepseek_light | deepseek_heavy | |---|---|---|---| | zh | 96,214 | 24,240 | 66,186 | | zh_med | 165,511 | 46,384 | 113,405 | | en | 406,585 | 90,409 | 286,378 | > 每个原始句会出现在 5 个覆盖率版本（v0/v2/v4/v6/v8）中，因此“行数”≈ 5ד独立句”。 ## 2. 构造方法（v3 渐进式协议） ``` v0 ─ v1(15%) ─ v2(25%) ─ v3(40%) ─ v4(50%) ─ v5(60%) ─ v6(75%) ─ v7(90%) ─ v8(100%) polish paraphrase style compress expand style paraphrase polish ``` 1. 人类论文切句（识别半角 `.`、缩写合并）； 2. 每句按固定随机序分配到某个版本，只被改写一次，后续版本累积继承； 3. 5 种操作：润色 / 改写 / 风格转换 / 压缩 / 扩写； 4. 句级一对一改写，**标签与文本同时产生**，不存在对齐错误； 5. 导出 v0/v2/v4/v6/v8 五个版本。 **质量控制**： - 改写后与原句的字符 3-gram 相似度 >0.88 判为不合格，重试； - 仍 >0.9 的“近拷贝”直接降级为 human，不充当正样本； - 跨论文完全重复句在导出时剔除。 ## 3. 质量审计 | 指标 | zh | zh_med | en | 标准 | |---|---|---|---|---| | 标签不一致率 | 0 | 0 | 0 | <0.5% | | 近拷贝率（sim>0.9） | 0.38% | 1.1% | 0.0% | <5% | | v8 实际覆盖率 | **96.4%** | 98.2% | **96.0%** | >95% | | 中位相似度 | 0.414 | 0.480 | 0.536 | — | 审计脚本：`audit_v3.py`（3-gram Jaccard、指令泄漏、长度/语言漂移、重复率）。 ## 4. 字段说明 ```json { "id": "6034_0a4f50::v4:12", "doc_id": "6034_0a4f50::v4", "text": "……", "label": "deepseek_heavy", "soft": {"deepseek_heavy": 1.0}, "agreement": 1.0, "split": "train", "coverage": 0.5, "op": "compress" } ``` | 字段 | 说明 | |---|---| | `id` | `文档ID:句序号` | | `doc_id` | `<论文ID>::<版本>`（v0/v2/v4/v6/v8） | | `text` | 句子文本 | | `label` | `human` / `deepseek_light` / `deepseek_heavy` | | `soft` | 软标签（构造式数据为 one-hot） | | `agreement` | 构造式数据恒为 1.0 | | `coverage` | 该文档的 AI 覆盖率（0/0.25/0.5/0.75/1.0） | | `op` | 该句的编辑操作；未改写为 `none` | **切分原则**：按论文切分，同一篇论文的所有版本只落在一个 split。 ## 5. 使用示例 ```python import json from datasets import load_dataset ds = load_dataset("InfoxmedModel/AI-writing-detector-dataset", "zh") print(ds["train"][0]) rows = [json.loads(l) for l in open("zh/train.jsonl", encoding="utf-8")] ``` 训练建议： - 基座：`hfl/chinese-roberta-wwm-ext`（102M）或 Laya（421M）； - max_len 96–128，bs 32，lr 2e-5~3e-5，1–2 epoch； - human 下采样到 AI 的 2 倍以内。 ## 6. 已知偏差与局限 | 问题 | 说明 | |---|---| | 只有摘要（医学） | 医学子集是摘要，不是全文 | | 单一生成器 | 仅 DeepSeek（chat） | | 中文来源集中 | 学术以软件学报为主，学科偏计算机 | | 英文较难 | 英文改写更保守，最好模型的 TPR 也只有 0.57 | | 无上下文 | 单句样本，不含前后句 | | 时间窗 | 人类文本 ≤2021，避开 ChatGPT 后数据 | ## 7. 许可与伦理 - 标注与构造数据：**CC-BY-NC-4.0**，仅限非商业研究； - 原始文本版权归原作者/期刊，本数据集只提供句子级片段，不再分发 PDF； - 不得用于学术不端判定或处分依据。 ## 8. 相关模型 | 模型 | 说明 | |---|---| | [AI-writing-detector-laya-zh](https://www.modelscope.cn/models/InfoxmedModel/AI-writing-detector-laya-zh) | Laya 421M，中文学术 TPR@1%FPR **0.895** | | [AI-writing-detector-zh-roberta](https://www.modelscope.cn/models/InfoxmedModel/AI-writing-detector-zh-roberta) | RoBERTa 102M，TPR 0.831 | ## 9. 引用 ```bibtex @misc{ai-writing-detector-dataset, title = {AI-writing-detector-dataset: Sentence-level Human/DeepSeek Text Dataset for Academic Writing}, author = {InfoxmedModel}, year = {2026}, url = {https://www.modelscope.cn/datasets/InfoxmedModel/AI-writing-detector-dataset} } ```