slop-classification

Slop classifier dataset是一个人类标注的数据集，旨在研究和分类那些被人类感知为“AI slop”的AI生成文本。数据集中的样本来自多个现有的公开数据集，并通过Bench Labs SlopFinder界面进行标注。每个样本获得一个基于人类投票的“slop分数”，分数值为-1（绝对slop）、0（未定/中立）或+1（绝非slop）。该分数反映的是人类的主观判断，而非文本的客观质量、AI生成程度或事实正确性。标注数据包含以下字段：content（被评估的文本）、slop_score（提交的人类评分）、source_dataset（样本来源数据集）、source_row_id（原始样本标识符）、content_hash（用于检测重复内容的哈希值）、created_at（标注时间）。样本可能包含对话而非独立文本。收集过程如下：从公开数据集中随机选取样本，通过SlopFinder展示给贡献者；贡献者使用一个连续的滑块（而非预定义类别）进行快速标注，无需注册账户。该数据集持续增长，随着更多标注的加入而不断扩充。预期用途包括：训练AI slop分类模型、研究人类对AI生成文本的感知、评估文本分类器在不同来源之间的泛化能力、以及研究被感知为AI slop的文本风格特征。该数据集不应被当作写作质量或AI生成性的绝对基准。局限性在于：标签代表主观判断，不同贡献者对“slop”的定义可能存在差异；数据集可能引入来源数据集、贡献者群体、个人定义差异以及重复接触类似文本所带来的偏差。因此，分数应被解释为“感知到的slop程度”，而非文本的客观属性。Slop classifier dataset is a human-annotated dataset designed to study and classify AI-generated text that is perceived by humans as AI slop. Samples are sourced from multiple existing public datasets and annotated via the Bench Labs SlopFinder interface. Each sample receives a slop score based on human votes, with values -1 (definitely slop), 0 (undecided/neutral), or +1 (definitely not slop). The score reflects subjective human judgment, not objective quality, degree of AI generation, or factual correctness. The annotation includes fields: content (the text being evaluated), slop_score (human rating submitted), source_dataset (dataset of origin), source_row_id (original sample identifier), content_hash (hash for detecting duplicate content), and created_at (annotation timestamp). Samples may include dialogue rather than standalone text. Collection process: random samples are selected from public datasets and presented to contributors via SlopFinder; contributors quickly annotate using a continuous slider (not predefined categories) without needing to register. The dataset is continuously growing as more annotations are added. Intended uses: training AI slop classification models, studying human perception of AI-generated text, evaluating text classifier generalization across sources, and studying stylistic features of text perceived as AI slop. The dataset should not be used as an absolute benchmark for writing quality or AI generation. Limitations: labels reflect subjective judgment; different contributors may have varying definitions of slop; biases may arise from source datasets, contributor pool, personal definition differences, and repeated exposure to similar texts. Thus, scores should be interpreted as perceived slop degree, not objective properties of the text.

原始信息汇总

Slop 分类器数据集

数据集概览

这是一个人工标注的数据集，用于研究和分类被人类感知为 "AI 垃圾内容"（AI slop） 的 AI 生成文本。数据集基于现有公共数据集的样本构建，并通过 Bench Labs SlopFinder 界面进行标注。

Slop 评分机制

每个样本根据人类投票获得一个评分：

• -1：绝对是 slop
• 0：不确定 / 中立
• +1：完全不是 slop

评分代表人类的主观判断，而非质量、AI 生成程度或事实正确性的客观度量。同一样本可能有多人投票，从而保留标注者之间的一致性和分歧，而不是强制将每个样本归入单一的二元标签。

数据结构

每条标注记录包含以下字段：

• content — 被评估的文本
• slop_score — 提交的人类评分
• source_dataset — 样本来源的数据集
• source_row_id — 原始样本的标识符
• content_hash — 用于帮助检测重复内容的标识符
• created_at — 标注收集的时间

注意：源样本可能包含对话而非单一文本。

数据收集方式

样本选自公开数据集，并通过 SlopFinder 随机呈现给贡献者。贡献者使用一个连续的滑动条而非预定义类别列表进行标注，旨在提高标注速度并降低贡献难度。无需注册账户即可提交投票。数据集随着更多标注的收集而持续增长。

预期用途

该数据集适用于以下场景：

• 训练 AI-slop 分类模型
• 研究人类对 AI 生成文本的感知
• 评估文本分类器在不同来源间的泛化能力
• 研究与被感知为 slop 相关的文体特征研究

注意：不应将其视为写作质量或 AI 生成性的权威基准。

局限性

标签反映的是主观的人类判断，不同贡献者对 "slop" 的定义可能有很大差异。数据集也可能包含以下来源引入的偏差：

• 用于抽样的源数据集
• 贡献者群体的构成
• 个体对 "slop" 定义的差异
• 对类似类型文本的重复接触

因此，评分应被解读为感知到的 sloppiness，而非文本的客观属性。

贡献方式

该项目目前处于早期预览阶段，欢迎贡献。可通过 Bench Labs Slop Classifier 尝试 SlopFinder 并帮助扩展数据集。

许可证

MIT

搜集汇总

数据集介绍

构建方式

该数据集旨在捕捉人类对AI生成文本的感知，其构建过程融合了人工标注与现有公共数据资源。样本源自多个公开数据集，经由Bench Labs SlopFinder界面呈现给贡献者，采用连续滑动条而非预设类别进行评分，每位贡献者可对同一内容多次投票，投票结果以-1、0、+1分别代表“确定是垃圾”、“中立”和“绝非垃圾”。每条标注记录包含内容文本、评分、来源数据集、原始行标识、内容哈希及标注时间，确保数据的可追溯性与重复内容识别。

特点

数据集的核心特性在于其评分完全基于人类主观判断，而非客观质量或事实准确性，反映了不同个体对“AI垃圾”的认知差异。多投票机制保留了标注者间的共识与分歧，避免了二元标签的简化。数据持续增长，覆盖多样化的文本类型，包括对话形式，为研究人类感知风格特征提供了丰富素材。然而，该数据集的标签带有主观性与潜在偏差，源于来源数据集、贡献者群体及个体定义差异，因此更应视为“感知垃圾度”的度量。

使用方法

该数据集主要面向AI垃圾分类模型的训练，以及研究人类对AI生成写作的感知模式。可用于评估文本分类器在不同来源上的泛化能力，并探索与感知垃圾相关的文体特征。使用时需注意，标签并非客观标准，不适宜作为文本质量或AI生成性的权威基准。研究者可依据评分分布进行阈值设定，或利用多票数据构建置信度指标。数据集以MIT许可证开源，并支持通过SlopFinder平台持续贡献，以扩充其规模与多样性。

背景与挑战

背景概述

随着大型语言模型的迅猛发展，AI生成的文本在互联网上呈指数级增长，催生了“AI slop”这一新兴现象，即内容质量低下、缺乏原创性的机器生成文本。此类文本的泛滥不仅污染了信息生态，也对内容审核和质量控制提出了严峻挑战。然而，现有研究多聚焦于检测AI生成文本的客观特征，忽视了人类感知在界定“slop”中的核心作用。在此背景下，Bench Labs团队于近期构建了slop-classification数据集，旨在以人类标注为核心，系统性地捕捉和量化人们对AI文本的“slop”感知。该数据集通过SlopFinder界面收集来自公开数据源的样本，采用连续滑块进行评分，并保留多元标注者的分歧意见，为研究AI文本的主观质量感知提供了独特资源。其发布在HuggingFace平台，迅速吸引了学术界和工业界的关注，为AI文本质量评估和生成模型优化提供了新视角，有望推动相关领域从客观检测向主观感知研究的范式转变。

当前挑战

该数据集面临的挑战是多维度的。首要挑战在于“slop”定义本身的主观性，不同标注者对什么是“slop”的认知差异巨大，导致评分标准难以统一，数据集中可能包含显著的个人偏见。其次，数据集的样本来源特定公开数据集，群体构成和重复接触类似文本可能导致选择偏差和适应效应，影响数据的代表性。此外，构建过程中，标注者通过非标准化的连续滑块进行即时评分，虽降低了参与门槛，却可能引入随意性，影响标注的一致性和可靠性。数据持续增长中，如何维持更新数据的质量与已有标注之间的兼容性也是一大难题。最终，数据集作为训练分类器的基础，其主观标签是否能泛化到不同文本类型和人群，是研究中无法回避的核心挑战，因为“感知的slop”并非文本的客观属性，而是一个动态的社会文化建构。

常用场景

经典使用场景

在人工智能生成内容日益泛滥的背景下，slop-classification数据集为识别人类感知中的‘AI废话’提供了关键资源。该数据集由人工标注，基于连续评分机制，捕捉了标注者对文本的主观感知，而非客观质量。其经典使用场景聚焦于训练AI废话分类模型，利用人类标注的感知评分作为监督信号，学习文本中与AI痕迹相关的风格特征。此类模型可用于自动过滤低质量生成内容，提升信息生态的纯净度，也可作为评估其他文本分类器泛化能力的基准，尤其在跨源数据集上检验其鲁棒性。

衍生相关工作

基于该数据集，可衍生多项经典工作：构建可解释的AI废话检测模型，通过特征归因揭示触发‘废话’感知的典型语言模式；设计跨域迁移学习框架，评估不同来源样本（如新闻、社交媒体、对话）对分类性能的影响；开发人机协同标注平台，利用标注分歧度刻画感知不确定性，优化众包质量；以及探索对抗性攻击与防御，研究如何通过文本改写策略规避检测或增强鲁棒性。这些工作将深化对AI生成文本社会感知的理解，并推动相关工具链的成熟。

数据集最近研究

最新研究方向

当前，随着大语言模型生成内容的泛滥，“AI slop”现象日益成为学界与业界关注的焦点。该数据集通过大规模人工标注，捕捉人类对AI生成文本的主观感知，为研究文本的“机器味”提供了量化工具。前沿方向聚焦于利用该数据集训练高精度slop分类器，探索人类感知与文本风格特征（如句式重复、情感平淡、逻辑跳跃）间的关联，并评估跨源泛化能力。此举不仅有助于构建更自然的生成模型，也对内容审核、信息可信度评估及人机交互设计产生深远影响，推动可解释AI与负责任的生成技术发展。