hirundo-io/prompt-injections-benchmark-benign-prompts

---
dataset_info:
features:
- name: question
dtype: string
- name: __index_level_0__
dtype: int64
splits:
- name: train
num_bytes: 1652964
num_examples: 2997
download_size: 1000614
dataset_size: 1652964
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
---

搜集汇总

数据集介绍

构建方式

该数据集以“question”字段作为核心内容，存储了共计2997条良性提示样本，每条样本均附带索引字段“__index_level_0__”以标识数据顺序。数据以单一训练集形式组织，整体规模约1.65 MB，经由标准化流程采集与整理，旨在构建一个用于基准测试的良性提示注入检测评估集合。

特点

数据集聚焦于“良性提示”场景，即不包含恶意注入意图的常规用户输入，为评测提示注入防御系统在无攻击条件下的假阳性表现提供了标准化测试样本。其结构简洁，仅包含文本与索引两个字段，便于快速加载与集成于各类评估框架中，适合作为对照组数据与对抗性样本配合使用。

使用方法

用户可通过HuggingFace Datasets库直接加载该数据集，指定配置名“default”并调用训练集拆分即可获取全部2997条样本。在评估提示注入检测模型时，可将这些良性提示作为负样本输入，统计模型误报为注入攻击的比例，从而量化系统的稳健性与准确率。

背景与挑战

背景概述

该数据集名为“prompt-injections-benchmark-benign-prompts”，创建于大语言模型安全评估研究兴起的阶段，由相关领域的研究机构或团队构建，旨在系统性地测试和基准化模型对良性提示的响应行为。其核心研究问题聚焦于如何区分恶意与无害输入，从而提升模型在真实应用中的鲁棒性与安全性。该数据集在提示注入防御、模型行为审计等方向具有潜在影响力，为后续的对抗性攻击检测和评估提供了标准化的测试基础。

当前挑战

当前面临的挑战主要包括：一是领域问题层面，大语言模型易受提示注入攻击，而该数据集需解决如何精准识别良性提示以避免误判，从而在安全性与可用性之间取得平衡；二是构建过程中，需从海量真实交互样本中筛选出具有代表性的良性提示，同时避免引入隐含的对抗性噪声，确保基准测试的公正性与复现性。此外，随着模型能力的演进，数据集的时效性和覆盖范围也面临持续更新的需求。

常用场景

经典使用场景

在大型语言模型安全评估的领域中，prompt-injections-benchmark-benign-prompts数据集作为基准测试的重要组成部分，被广泛用于衡量模型在非恶意提示下的行为稳定性。该数据集包含近3000条精心设计的良性提示，覆盖日常对话、知识问答、任务指令等多种场景，旨在评估模型是否会在无害输入中产生意外响应或过度防御机制。经典使用方式是将该数据集与恶意注入数据配对，构建完整的鲁棒性测试框架，从而量化模型在正常交互中的可靠性。

解决学术问题

学术界长期面临一个关键难题：如何区分模型对于良性提示与恶意提示的响应边界，以避免误判导致的安全策略失衡。该数据集解决了良性提示标准化评估缺失的问题，为研究模型过拟合安全约束提供了基准参照。通过分析模型在该数据集上的表现，学者能够揭示安全训练是否导致了对正常请求的错误拒绝或内容偏差，其意义在于推动模型在安全性与实用性之间达成更优平衡，避免了过度防御损害用户体验。

衍生相关工作

该数据集催生了多项具有影响力的衍生研究，其中最具代表性的是各种鲁棒性基准测试框架的构建，如将良性提示与硬化技巧结合，探索模型对边界案例的处理能力。此外，它直接支撑了提示注入检测算法的对比研究，多个团队基于该数据集开发了可区分良性请求与攻击输入的分类器。在更广阔的研究版图中，该数据集也被用于安全对齐方案的消融分析，揭示不同训练策略对模型通用生成能力的副作用。