SlopReview

该数据集旨在训练一个小型语言模型（LLM）来识别文本中的'低质量内容'（slop）。数据集通过比较来自多个LLM的响应与人类生成的响应（源自Reddit-SFW-Writing_Prompts_ShareGPT数据集）构建而成。采用加权评分系统计算每个响应的'slop分数'，该系统考虑了AI典型词汇（正权重）和人类写作特征词汇（负权重）。数据集包含约200个提示的LLM响应和1000个来自WritingPrompts数据集的响应。评分标准分为五个等级：'几乎人类'、'干净'、'明显低质量'、'严重低质量'和'完全低质量'。数据集适用于文本质量评估、AI生成内容检测等自然语言处理任务。

原始信息汇总

SlopReview 数据集概述

数据集目的

该数据集旨在用于训练一个小型语言模型，以判断文本内容是否属于“Slop”（指AI生成的、带有特定陈词滥调或刻板词汇的内容）。

数据来源与构建方法

• 提示来源：数据集的构建基于从 ChaoticNeutrals/Reddit-SFW-Writing_Prompts_ShareGPT 数据集中选取的200个提示。
• 生成方式：将这些提示输入多个大型语言模型以生成回复。
• 评分机制：通过比较AI生成回复与人类生成回复，识别在AI回复中出现频率过高、在人类回复中出现频率更高的词汇。通过计算回复中加权“slop”词汇数与总词汇数的比值来评分，其中仅人类使用的词汇被赋予负权重。
• 局限性：该方法主要捕捉显著的“slop”词汇，并且可能被一段“slop”词汇密集的段落与一段人类词汇密集的段落相互平衡所“欺骗”。

数据集内容与更新

• 数据集包含了来自多个模型的回复，并与来自WritingPrompts数据集的大约1000条回复结合，这些回复都通过了“slop”评分脚本的处理。
• 更新记录：2026年3月9日，更新了数据集，为重命名原始文件（涉及HereticFT、Gemma 3 4B和Qwen 3.5 2B模型）并包含了另一组之前遗漏的回复。

使用的模型列表

用于生成回复的模型包括：

• DrRiceIO7/HereticFT
• google/gemma-3-4b-it
• arcee-ai/Trinity-Mini
• LiquidAI/LFM2.5-1.2B-Instruct
• Mistral Small Creative
• nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16
• Qwen 3.5 Flash 即 Qwen/Qwen3.5-35B-A3B
• Qwen/Qwen3-VL-30B-A3B-Thinking
• stepfun-ai/Step-3.5-Flash
• openai/gpt-oss-120b
• zai-org/GLM-4.5-Air
• mistralai/Ministral-3-3B-Instruct-2512
• TheDrummer/Gemmasutra-Mini-2B-v1
• TheDrummer/Gemmasutra-Small-4B-v1
• TheDrummer/Rocinante-X-12B-v1
• SicariusSicariiStuff/Impish_Bloodmoon_12B
• Vortex5/Azure-Starlight-12B
• DrRiceIO7/granite-4.0-micro-heretic
• sam-paech/gemma-3-12b-it-antislop
• 特别提及：Qwen/Qwen3.5-2B（数据集中包含其3条回复，但未进行完整测试）。

Slop评分系统详解

1. 评分公式

“Slop分数”是一个标准化值，计算步骤如下：

1. 分词：将文本转换为小写，去除大部分标点符号，并分割成长度超过2个字符的单词。
2. 权重求和：根据Slop权重词典（正值）和人类标记词典（负值）检查每个单词并累加权重。
3. 标准化：标准化分数 = max(0, 权重总和) / 总单词数。 分数越高，表示AI典型的“slop”词汇密度越高，而人类标记的负权重可以抵消这些分数以降低最终得分。

2. 分类阈值（判定）

根据标准化分数，回复被赋予以下标签之一：

分数范围	判定	描述
< 0.05	Virtually Human	自然措辞，使用人类标记，避免AI陈词滥调。
0.05 - 0.19	Clean	高质量写作，AI典型词汇极少。
0.20 - 0.59	Noticeable Slop	包含多个AI“指纹”或重复的概念性词汇。
0.60 - 1.19	Egregious Slop	严重依赖AI典型名称和“华丽辞藻”陈词滥调。
≥ 1.20	Absolute Slop Overload	极度密集的AI标记；很可能是刻板的AI输出。

3. 权重层级

Slop标记（增加分数）

触发分数增加的词汇分为四个“严重性”层级：

• 第1层：严重的AI名称（权重80-100）：例如 Elias, Elara, Silas, Thorne, Kael, Aris, Lyra, Zephyr。
• 第2层：严重的AI概念性Slop（权重45-75）：例如 Tapestry, resonance, profound, testament, nexus, ethereal, precipice, weaving, lattice。
• 第3层：中等AI标记（权重20-40）：例如 Unfolding, echoed, narrative, resilience, uncharted, shimmering, pulsed, anomaly。
• 第4层：低权重/潜在误报（权重2-10）：例如 Heartbeat, rhythm, precise, subtle, weight。

人类标记（减少分数/奖励）

这些词汇在人类创作的小说中更常见，提供降低slop分数的“奖励”：

• 重度奖励（-70至-45）：脏话和非正式俚语（如 fucked, shit, damn, yeah, okay）。
• 叙事节拍（-40至-30）：常见的人类对话标签和身体动作（如 shrugged, sighed, smirked, nodded, mutters, snorts, wince）。
• 自然语言（-25至-10）：缩略语和非正式过渡词（如 im, thats, dont, probably, sorry, bit）。

4. 示例影响

在一个100词的回复中：

• 使用一次 “Elara” (+100) 会导致分数为 1.00（Egregious Slop）。
• 使用一次 “tapestry” (+75) 会导致分数为 0.75（Egregious Slop）。
• 使用一次 “fuck” (-60) 可以抵消像 “meticulously” (+60) 这样的词，结果为 0.00（Virtually Human）。

完整的Slop词典

该词典定义了每个词汇对“Slop”评分的具体影响值（正值为增加，负值为减少）。详细词汇及对应分数请参见原始README文件中的表格。

搜集汇总

数据集介绍

构建方式

在自然语言生成领域，区分人工智能生成文本与人类创作文本的能力日益受到重视。SlopReview数据集的构建过程体现了这一研究需求，其核心方法是通过对比分析来量化文本的“机械化”特征。该数据集从Reddit-SFW写作提示集中选取了200个提示，并输入至包括HereticFT、Gemma 3 4B、Qwen 3.5 2B在内的十余种大型语言模型中，收集了相应的生成回复。随后，研究者将这些AI回复与人类创作的回复进行对比，通过统计分析识别出在AI回复中高频出现、而在人类回复中罕见的词汇，即所谓的“机械化词汇”。基于此，研究团队设计了一套加权评分算法，通过计算回复中“机械化词汇”与总词数的加权比例，为每段文本赋予一个“机械化分数”，从而构建了一个带有连续评分的文本分类数据集。

使用方法

该数据集的主要用途在于训练和评估能够自动检测文本“机械化”程度的模型。使用者可以直接加载数据集，其中包含了对大量文本回复的预计算分数与分类标签。研究人员可以利用这些带标签的数据，训练一个回归模型或分类模型，以学习从原始文本预测其“机械化分数”或所属类别。数据集中提供的详细评分词典和阈值标准，也为开发自定义的规则化检测工具提供了明确的参考依据。此外，该数据集可作为基准测试集，用于横向比较不同文本检测模型在识别AI生成内容方面的性能。通过分析模型在各类别样本上的表现，能够深入洞察现有检测技术的优势与局限。

背景与挑战

背景概述

SlopReview数据集诞生于2026年，由独立研究者DrRiceIO7等人构建，旨在应对大型语言模型生成文本中普遍存在的“机械化表达”问题。该数据集的核心研究聚焦于量化与识别AI生成文本的刻板词汇模式，即所谓“slop”，通过对比人类创作与多种主流LLM对相同提示的响应，构建了一套基于加权词汇统计的自动化评分体系。这一工作为自然语言生成领域的文本质量评估提供了新颖的数据驱动视角，尤其对提升AI写作的自然性与创造性具有潜在推动作用。

当前挑战

该数据集致力于解决文本生成质量评估中“AI腔调”识别的核心挑战，其难点在于如何精准定义并捕捉那些虽合乎语法却缺乏人类语言随机性与情感温度的刻板表达。在构建过程中，研究者面临多重挑战：首先，评分机制依赖静态词汇表加权，可能无法泛化至未登录的slop短语或新兴表达模式；其次，当前方法通过段落内词汇抵消来平衡分数，可能导致长文本中局部机械化表达被整体评分所掩盖，从而影响细粒度判别的准确性。

常用场景

经典使用场景

在自然语言生成领域，SlopReview数据集为评估文本生成质量提供了独特视角。该数据集通过对比多种大型语言模型与人类作者对相同提示的回应，构建了一套量化“套话”程度的评分体系。其经典应用场景在于训练轻量级语言模型，使其能够自动识别并评分生成文本中过度使用的AI典型词汇与表达模式，从而辅助研究者优化模型输出，提升文本的自然度与创造性。

解决学术问题

该数据集有效应对了生成式人工智能研究中文本同质化与缺乏独创性的核心挑战。通过系统化定义“套话”词汇并赋予权重，它为解决模型输出中存在的词汇重复、风格刻板等常见问题提供了可量化的分析工具。其意义在于将主观的文本质量评价转化为客观的指标，为研究语言模型的风格模仿、创造性评估及人机文本鉴别奠定了数据基础，推动了生成文本评估方法的精细化发展。

实际应用

在实际应用中，SlopReview数据集能够服务于内容创作平台与教育评估工具。例如，写作辅助软件可集成基于该数据集训练的模型，实时检测并提示用户文本中可能存在的陈词滥调，鼓励更具个人特色的表达。在教育领域，它可用于分析学生作文或机器生成文本的风格特征，帮助教师区分原创内容与模式化输出，从而在自动化评分与人工指导之间取得更好平衡。

数据集最近研究

最新研究方向

在自然语言生成与文本质量评估领域，SlopReview数据集聚焦于识别和量化AI生成文本中的“套话”现象，即模型过度使用的刻板词汇与表达模式。该数据集通过对比多种大型语言模型与人类创作的响应，构建了一套基于加权词汇统计的评分体系，旨在自动化检测文本的“套话”程度。前沿研究正探索利用此类数据训练轻量级模型，以泛化识别更复杂的语义级套话模式，从而推动生成式AI在创意写作、内容审核等场景中的真实性与多样性提升，响应业界对AI生成内容透明性与可信度的迫切需求。