qwen3.5-9b-blogprovider-traces

该数据集名为“Blog-Provider-ID — model inference traces (val + val_ood)”，包含由Hugging Face上CK0607 blog-provider集合中的多个模型在“3-way AI-provider classification task”任务上生成的推理轨迹。该分类任务的目标是判别给定博客内容是由CLAUDE、CHATGPT还是GEMINI这三种AI模型生成的。数据集包括验证集（val，n=414）和分布外验证集（val_ood，n=471）的推理记录。对于每个模型，数据以JSONL格式存储，每条记录对应一个博客，包含以下字段：提示与真实标签（prompt gold）、模型预测（prediction）、完整的推理与答案生成内容（full `<reason_why>/<answer>` completion）以及截断标志（truncation flag）。此外，每个模型文件夹还包含一个汇总文件（summary.json）。所有推理均在统一条件下生成，即使用“plain”版本的SYSTEM_PROMPT_3WAY（关闭模型的“思考”功能），以确保不同模型输出结果的可比性。数据集附带的analysis/目录提供了对AI提供者写作风格的研究，包括基于语义和文体测量学的UMAP可视化、线性探针可分离性分析以及各提供者的风格指纹。该数据集适用于AI生成文本检测、大型语言模型行为与可解释性分析、模型推理过程研究、以及AI写作风格对比分析等任务。README中提供的准确率表格展示了各模型在该任务上的性能，可作为基准参考。

The dataset is named Blog-Provider-ID — model inference traces (val + val_ood) and contains inference traces generated by multiple models from the CK0607 blog-provider collection on Hugging Face for the 3-way AI-provider classification task. This classification task aims to determine whether a given blog content was generated by one of three AI models: CLAUDE, CHATGPT, or GEMINI. The dataset includes inference records for the validation set (val, n=414) and the out-of-distribution validation set (val_ood, n=471). For each model, the data is stored in JSONL format, with each record corresponding to a blog and containing the following fields: prompt gold, prediction, full `<reason_why>/<answer>` completion, and a truncation flag. Additionally, each model folder includes a summary file (summary.json). All inferences are generated under uniform conditions, using the plain version of SYSTEM_PROMPT_3WAY (with the models thinking function disabled) to ensure comparability across different models. The dataset comes with an analysis/ directory that provides research on AI provider writing styles, including UMAP visualizations based on semantics and stylometry, linear probe separability analysis, and style fingerprints for each provider. This dataset is suitable for tasks such as AI-generated text detection, large language model behavior and interpretability analysis, model inference process research, and AI writing style comparison analysis. The README includes an accuracy table showing the performance of each model on this task, serving as a benchmark reference.

原始信息汇总

数据集概述

数据集名称：Blog-Provider-ID — model inference traces (val + val_ood)

许可证：Apache-2.0

任务类别：文本分类（text-classification）

标签：ai-text-detection, qwen3, prime-rl, reasoning-traces

数据集描述：该数据集包含针对三分类（CLAUDE / CHATGPT / GEMINI）AI生成文本提供商识别任务的模型推理轨迹。数据来自 CK0607 blog-provider collection 系列模型。

数据内容：每个模型文件夹中包含：

• val.jsonl：验证集数据
• val_ood.jsonl：分布外验证集数据（每条记录包含：博客提示、真实标签、预测结果、完整的 <reason_why>/<answer> 补全内容、截断标志）
• summary.json：摘要文件

所有推理均使用 plain 版本的 SYSTEM_PROMPT_3WAY（关闭思考模式），因此结果具有直接可比性。

附加分析：analysis/ 文件夹包含提供商标记风格研究（语义 vs. 风格计量UMAP、线性探针可分性分析、每个提供商的风格指纹）。

模型性能（Plain-prompt准确率）

验证集（val）样本量 n=414，分布外验证集（val_ood）样本量 n=471。

模型	val 准确率	val_ood 准确率
coldstart-rl	0.9106	0.9193
coldstart-sft	0.6957	0.6815
qwen3.5-9b-blogprovider-rl-cheatsheet	0.372	0.3737
qwen3.5-9b-blogprovider-rl-entropydecay	0.2899	0.3036
qwen3.5-9b-blogprovider-rl-pureacc-peak	0.3841	0.3822
qwen3.5-9b-blogprovider-opcd-e2	0.0314	0.0234
qwen3.5-9b-blogprovider-rlsd-e3	0.0024	0.0
qwen3.5-9b-blogprovider-selfgated-answeronly	1.0	1.0
qwen3.5-9b-blogprovider-sft-goldcond	1.0	1.0
qwen3.5-9b-blogprovider-star-selfdistill	0.9517	0.9597

特别说明：

• opcd-e2 和 rlsd-e3 是OPCD / RLSD重新运行的 最终（step-40）检查点，它们最初在早期达到过渡推理通道峰值（约0.27 / 约0.35 val reward），随后出现截断崩溃，因此最终检查点的plain-prompt准确率接近0。完整的运行轨迹可参见博客/日志中的运行阶梯。

搜集汇总

数据集介绍

构建方式

该数据集名为qwen3.5-9b-blogprovider-traces，专为三分类AI文本检测任务设计，旨在区分CLAUDE、CHATGPT与GEMINI三类生成模型所产出的博客文本。数据集构建基于CK0607博客提供者集合中的多个模型推理轨迹，每个模型文件夹内含val.jsonl与val_ood.jsonl文件，分别对应分布内与分布外验证集。每条记录包含提示文本、真实标签、模型预测、完整的推理过程（以<reason_why>/<answer>格式呈现）以及截断标志。所有推理均采用统一的SYSTEM_PROMPT_3WAY提示（关闭思维链），确保结果可比。此外，analysis/目录下提供提供者写作风格分析，涵盖语义与风格特征的可分性研究。

特点

该数据集的核心特点在于其覆盖多种训练策略下模型的表现对比，从冷启动强化学习（coldstart-rl）到自蒸馏微调（star-selfdistill），呈现了不同方法对AI文本检测准确率的显著影响。值得注意的是，selfgated-answeronly与sft-goldcond模型在分布内外均达到100%准确率，而opcd-e2与rlsd-e3最终检查点因截断崩溃导致准确率接近零，揭示了推理通道的临时高峰与长期不稳定性。数据集包含414条分布内与471条分布外样本，为研究模型泛化能力提供了均衡视角。风格指纹分析进一步加深了对不同AI写作模式的理解。

使用方法

使用时，可直接加载各模型文件夹下的val.jsonl与val_ood.jsonl文件，每条记录为JSON格式，包含prompt、gold、prediction及full completion字段。用户可通过解析<reason_why>/<answer>分隔符提取推理依据与最终答案。summary.json提供模型性能汇总。对于风格分析，可利用analysis/目录中的UMAP嵌入与线性探针结果进行语义与风格特征分离研究。该数据集适用于文本分类微调、推理轨迹分析及模型可解释性评估，尤其适合对比不同训练策略在AI文本检测任务上的泛化表现。

背景与挑战

背景概述

在大型语言模型快速发展的背景下，研究者越来越关注如何区分不同模型生成的文本，这一领域被称为AI文本检测。qwen3.5-9b-blogprovider-traces数据集由CK0607团队创建，旨在解决三分类AI供应商识别任务（CLAUDE/CHATGPT/GEMINI）。该数据集包含模型推理轨迹（traces），记录了对博客文本的标注及预测结果，为探究不同语言模型在风格与语义层面的可区分性提供了标准化基准。通过对比plain-prompt下的准确率，该数据集系统评估了多种训练策略（如强化学习、自我蒸馏）对生成文本独特性的影响，在AI文本溯源与模型指纹识别领域具有重要参考价值。

当前挑战

该数据集主要面临两方面挑战。在领域问题层面，AI文本检测需克服不同模型间风格趋同的难题——部分模型（如opcd-e2与rlsd-e3）在复杂推理后出现截断坍塌，导致plain-prompt准确率趋近于零，体现了长序列推理与分类性能间的矛盾。在构建过程中，挑战集中于模型轨迹的可靠性：某些强化学习检查点虽在训练初期获得较高奖励值，但最终稳定性不足，需设计有效的早停策略；同时，需确保不同模型在统一系统提示下生成可比较的轨迹数据，避免因推理配置差异引入的噪声。

常用场景

经典使用场景

该数据集专为文本分类任务中的AI文本检测场景而构建，聚焦于识别博客文本的生成来源，即区分文本由Claude、ChatGPT还是Gemini这三种主流大语言模型生成。经典使用方式为基于模型推理轨迹的3-way provider分类，通过分析模型在无思考提示（plain SYSTEM_PROMPT_3WAY）下的输出完成判别任务，适用于验证集与域外验证集的性能评估。数据集涵盖了多种训练策略下的模型表现，如强化学习、监督微调及自蒸馏等方法，为探究不同训练范式对AI文本来源检测能力的影响提供了标准化测试基准。

实际应用

在实际应用层面，该数据集可部署于内容审核平台，用于自动鉴别博客、新闻报道等文本是否由AI代理生成并识别具体来源，辅助维护网络信息真实性。在学术诚信检测中，它能够支持对论文、作业等素材的人工智能使用审查。此外，在自然语言处理模型的竞争性基准测试中，该数据集可作为评估新训练方法在文本归因任务上有效性的实用标杆，适用于企业级AI服务监控和品牌内容保护等商业化场景。

衍生相关工作

围绕该数据集衍生出多项相关性研究，包括基于推理通道分析（如OPCD与RLSD算法）的方法，探索模型在早期训练阶段的推理能力峰值与后续崩溃现象。主导的工作涵盖coldstart-RL/SFT模型的直接对比、cheatsheet RL与entropy decay策略的性能剖析，以及self-gated与gold-conditioned监督方案的极致准确率表现。此外，数据集的UMAP可视化分析与线性探针可分离性研究，为探究各提供商写作风格在语义空间和计量学层面的可区分性提供了经典范例，启发了后续多模态生成溯源工作的发展。