SystemPromptIndex

来自真实AI产品的1017个系统提示，按照八个AISPA保证维度逐段审计。1,017 system prompts from real-world AI products, which were audited segment by segment in accordance with eight AISPA assurance dimensions.

原始信息汇总

数据集概述

System Prompt Index 是一个系统提示词审计数据集，包含来自真实 AI 产品的 1,017 个系统提示词，并逐条指令分析了这些提示词中的安全性与用户保护属性。

核心统计

数据项	数量
提示词（Prompts）	1,017
组织（Organisations）	406
审计跨度（Audited spans）	5,217
保护性 / 问题性条目	4,656 / 514

数据结构

该仓库的文件组织如下：

• prompts/<org>/<product>.md：每个提示词的完整文本，带 YAML 头部元数据
• audits/<org>/<product>.json：每个提示词对应的审计结果
• data/prompts.json：所有提示词的聚合文件
• data/audits.json：所有审计结果的聚合文件
• dimensions.json：八个审计维度的完整定义

审计维度（D1–D8）

维度	名称	审计问题
D1	身份透明度	是否诚实表明自己是 AI？
D2	真实性与信息完整性	是否避免断言无法支持的内容？
D3	隐私与数据保护	如何处理用户提供的数据？
D4	工具/行动安全	可以代表用户执行哪些操作？
D5	用户自主性与操纵预防	是引导用户还是服务用户？
D6	不安全请求处理	拒绝哪些内容以及如何拒绝？
D7	伤害预防与用户安全	是否避免助长伤害并降低风险？
D8	公平、包容与中立	对不同用户是否有差别对待？

审计模式

每个审计文件（audits/ 下）包含提示词的元数据及一个 spans 数组，每个 span 代表一条审计发现，主要字段包括：

• text, start, end：具体指令文本及其在提示词主体中的字符偏移量
• dimension：所属维度（D1–D8 或 Misc）
• score：+1 表示保护性，-1 表示问题性
• note：评分理由说明
• risky：标记为边界情况（用户自主性与平台安全之间的权衡）

在提示词级别，通过 scores、by_dimension、protective_entries、problematic_entries 等字段汇总各个 span 的审计结果。

关键发现

• 用户自主性（D5） 既有最高的保护性覆盖率（92%），也具有最高的问题性比例（18%）——即该维度被讨论得最多，却也是最常被做错的方向。
• 隐私（D3） 相对较少被涉及（覆盖率 62%），但出错率很低（仅 2%）。

数据来源

该数据集中的提示词均来自公开收集的项目，并未自行提取，包括：

• TheBigPromptLibrary
• system_prompts_leaks
• awesome-ai-system-prompts
• CL4R1T4S
• chatgpt_system_prompt
• system-prompts-and-models-of-ai-tools

提示词文本版权归原作者所有，仅在研究目的下复制；审计结果（跨度、评分、备注及维度定义）为原创内容，可自由使用并需注明出处。

说明

• 本数据集不保证其中提示词的真实性、时效性或官方发布状态，厂商可能随时更改提示词，且语料中混合了代理框架和开源项目与消费级产品。
• 详细审计方法（如跨度识别、维度分配、评分与验证流程）可参考论文（arXiv:2607.28617）。

搜集汇总

数据集介绍

构建方式

SystemPromptIndex数据集的构建基于公开可得的系统提示词，从多个知名公共收藏中汇集而成，包括TheBigPromptLibrary、system_prompts_leaks等。每个系统提示词以Markdown文件形式存储，并附带YAML前置元数据，确保信息的可追溯性。随后，针对每个提示词，研究者依据八项保障维度（如身份透明性、真实性与信息完整性、隐私与数据保护等）进行逐指令审计，识别出每一段指令在保护用户或对用户不利方面的得分。整个审计过程严格遵循AISPA标准，生成包含元数据和审计结果的JSON文件，最终汇总为data/prompts.json和data/audits.json两个核心数据文件，以及独立的审计文件，以确保数据的一致性和完整性。

特点

数据集涵盖1,017个来自真实AI产品的系统提示词，涉及406个组织，审计了5,217条指令片段，其中保护性指令4,656条，问题性指令514条。其独特之处在于，审计结果不仅标注每条指令的文本和字符偏移，还归属到八个保障维度，并给出积极或消极的评价及原因说明。尤为引人注目的是，在用户自主权维度上，保护性覆盖最高（92%），但问题性比率也最高（18%），而隐私保护维度则表现出相反的趋势。这种不均匀的覆盖揭示了行业在不同维度的关注度与执行质量的差异，提供了深入理解系统提示词安全性的独特视角。

使用方法

使用者可通过克隆GitHub仓库获取该数据集。数据以JSON和Markdown格式提供，支持多种访问方式。便捷的Python脚本或jq命令即可快速查询审计数据，例如筛选所有对用户不利的指令并查看其理由，或按维度进行针对性分析。每个审计JSON和提示词文件通过id字段与prompts/和audits/目录下的文件对应，便于溯源。数据集的聚合视图与单文件视图保持一致，降低了使用复杂度。此外，该数据集鼓励贡献者对错误的评分提出建议，并通过GitHub协作改进，以确保数据的准确性和时效性。

背景与挑战

背景概述

SystemPromptIndex数据集由Xiangning Lin等学者于2026年创建，旨在系统性地收集并审计真实AI产品的系统提示词。该数据集汇集了来自406个组织的1,017个系统提示词，覆盖了从消费级应用到开源代理框架的广泛产品，并依据八维保障框架（AISPA）对5,217个文本片段进行了细致的标注，评估其保护性或问题性。作为首个大规模、用户中心的系统提示词审计资源，该数据集不仅为AI透明度和安全性研究提供了坚实的数据基础，也通过公开的审计方法和跨学科合作，推动了AI治理领域的发展。其影响力体现在为研究者、开发者和政策制定者提供了宝贵的洞察，促进了更安全、更负责任的AI系统设计。

当前挑战

SystemPromptIndex数据集在构建和应用中面临多重挑战。首先，领域层面，系统提示词缺乏统一标准，其质量参差不齐，且保护性与问题性判断常涉及主观权衡（如用户自主权与平台安全），导致审计维度（如D5用户自主权）既是最常被保护（92%覆盖率）也最常出问题（18%问题率），折射出该领域理论与实践间的深刻张力。其次，数据构建中，提示词的真实性、时效性难以验证，供应商会无预警修改提示词，且语料混合了代理框架与开源项目，增加了审计的复杂度。此外，跨维度的覆盖率不均衡（如隐私维度D3仅62%被涉及），提示了审计框架在全面性上的局限。最后，对每一文本片段进行精确评分和注释，需要高度专业的知识和严谨的方法论，确保审计结果的可信度与可重复性，也是一大挑战。

常用场景

经典使用场景

SystemPromptIndex数据集汇聚了来自406家真实AI产品的1,017条系统提示词，并对其进行了逐字逐句的审计标注。其经典使用场景在于对系统提示词进行细粒度的质量评估与分类研究，科研人员可基于其提供的8个维度（如身份透明度、隐私保护、用户自主性等）和5,217条审计片段，量化分析提示词的保护性与问题性，为理解当代AI产品的行为准则提供了大规模实证基础。

衍生相关工作

该数据集已衍生出AISPA（人工智能系统提示词保障）标准这一关键成果，并配套发布了方法论论文，系统阐述了审计流程中跨度的识别、维度归属、评分与验证程序。此外，其详尽的审计注释和开放的数据格式，为后续研究如提示词自动检测、跨时间趋势分析、AI行为对比研究等提供了基础，激发了社区对系统提示词透明性和用户权益保障的持续探索。

数据集最近研究

最新研究方向

当前，随着大型语言模型在各类AI产品中的广泛应用，系统提示词（system prompt）作为塑造模型行为的关键要素，其安全性与合规性日益受到研究界和产业界的重点关注。SystemPromptIndex数据集的发布，恰好回应了这一前沿需求，它通过汇集并审计超过千条来自真实AI产品的系统提示词，揭示了提示词在身份透明性、信息真实性、隐私保护、用户自主权等八个关键维度上的表现。该数据集不仅提供了细粒度的文本跨度级标注，还创新性地提出了AISPA标准，为AI系统提示词的审计与评估建立了新的范式。其研究发现，用户自主权维度尽管受到高度关注，却同时存在最高的潜在问题比例，这为调整AI对齐策略和强化用户保护机制提供了关键的数据支撑与实际指导。该数据集的出现，将有力推动AI可解释性、安全性和伦理治理研究向更实证、更精细化的方向迈进。