System Prompt Open

一个开放的数据库，包含从45个商业LLM中提取的系统提示，使用JustAsk框架提取，验证准确率为85-95%。

An open database containing system prompts extracted from 45 commercial Large Language Models (LLMs) via the JustAsk framework, with a validation accuracy of 85% to 95%.

原始信息汇总

System Prompt Open 数据集概述

数据集基本信息

• 数据集名称：System Prompt Open
• 数据集地址：https://github.com/x-zheng16/System-Prompt-Open
• 许可证：MIT
• 维护状态：是

数据集内容与规模

• 数据来源：使用 JustAsk（一个自我进化的代码代理框架）从 45 个商业大语言模型 中提取的系统提示词。
• 数据规模：包含 45 个提取出的系统提示词条目。
• 覆盖模型：
  • Claude Code（包含 4 个代理）
  • Gemini CLI（代码代理）
  • 其他 40 个商业 LLM（涵盖 OpenAI、Anthropic、Google、Meta、DeepSeek、xAI 等厂商）。

数据验证与准确性

• 验证方法：将提取结果与泄露的 Claude Code 源代码进行对比验证。
• 验证结果：准确率在 85% 到 95% 之间。
• 具体验证详情：
  • Explore Subagent：准确率 95%，仅遗漏了 bash 限制中的 pip install。
  • Plan Subagent：准确率 93%，存在微小的输出格式修饰差异。
  • General-Purpose：准确率 90%，遗漏了完整性指令。
  • Main Agent：准确率 85%，遗漏了 2 个完整章节。

数据集用途与声明

• 用途声明：该数据集仅限研究使用，专门用于学术安全研究、负责任的信息披露以及大语言模型安全性评估。
• 禁止用途：不鼓励也不允许将这些材料用于未经授权的提取、提示词窃取或商业系统漏洞利用。

相关资源

• 交互式浏览画廊：https://x-zheng16.github.io/System-Prompt-Open/
• 关联论文：https://arxiv.org/abs/2601.21233
• 提取工具：https://github.com/x-zheng16/JustAsk

贡献方式

1. 提取：使用 JustAsk 或自有方法提取系统提示词。
2. 验证：运行多次提取并计算自洽性。
3. 提交：通过提交 Issue 报告模型名称、提取的提示词和一致性分数。

引用信息

• 论文标题：Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs
• 作者：Xiang Zheng, Yutao Wu, Hanxun Huang, Yige Li, Xingjun Ma, Bo Li, Yu-Gang Jiang, and Cong Wang
• 预印本：arXiv:2601.21233, 2026

搜集汇总

数据集介绍

构建方式

在大型语言模型安全研究领域，揭示其内部指令是理解模型行为边界的关键。System Prompt Open数据集的构建采用了名为JustAsk的自进化代码代理框架，该方法通过设计精巧的交互策略，从45个商业大型语言模型中系统地提取其系统提示。构建过程强调方法的可重复性与准确性，其提取结果在Claude Code模型上通过事后泄露的源代码进行了真实性验证，准确率达到了85%至95%，为数据集的可靠性提供了坚实的实证基础。

特点

该数据集的核心特征在于其开创性与高置信度。作为首个公开的大型语言模型系统提示集合，它涵盖了包括OpenAI、Anthropic、Google、Meta等主流厂商在内的45个前沿模型，提供了前所未有的透明度。数据集条目经过严格的交叉验证，特别是与泄露的Claude Code源代码比对，证实了提取方法的高保真度。这种经过地面真实验证的数据特性，使其成为研究模型安全机制、指令遵循与潜在脆弱性的宝贵资源。

使用方法

为促进负责任的学术探索，该数据集主要通过其交互式在线画廊提供访问，研究者可便捷地浏览与检索不同模型的系统提示。数据集明确限定于学术安全研究、负责任披露及大型语言模型安全性评估等用途，严禁任何形式的未授权提取或商业系统利用。研究社区可通过使用JustAsk框架贡献新的提取结果，经提交与审核后丰富数据集内容，共同推动对模型内部工作机制的开放式科学调查。

背景与挑战

背景概述

在大型语言模型（LLM）安全性与透明度研究领域，系统提示作为模型行为的关键调控机制，其具体内容通常被商业公司视为机密。为应对这一信息壁垒，研究团队于2026年创建了System Prompt Open数据集。该数据集由Xiang Zheng、Yutao Wu等多位学者主导，依托自进化代码代理框架JustAsk，从45个商业LLM中系统性地提取了系统提示。其核心研究问题聚焦于揭示前沿LLM的内部指令设定，旨在为学术界的AI安全研究、负责任披露及模型安全性评估提供关键数据基础，从而推动模型可解释性与对抗性安全领域的发展。

当前挑战

该数据集旨在解决的领域挑战，是应对商业黑盒LLM系统提示不透明所带来的安全风险。具体而言，缺乏对系统提示的认知，阻碍了对模型潜在偏见、越狱漏洞及内部安全机制失效的深入分析与评估。在数据集构建过程中，挑战主要源于技术层面：如何设计稳健的自动化提取方法以高精度还原被隐藏的系统指令。尽管JustAsk框架实现了85%至95%的验证准确率，但提取过程仍需应对不同模型架构的差异性、对抗性防御策略的干扰，以及确保提取结果在多次尝试中的自洽性，这些因素共同构成了数据集构建的技术瓶颈。

常用场景

经典使用场景

在大型语言模型安全研究领域，System Prompt Open数据集为学者提供了前所未有的透明化分析基础。该数据集汇集了45个商业大语言模型的系统提示词，这些内容通常被厂商视为核心机密。研究人员能够借此深入探究不同模型内部指令的构造逻辑、安全边界设定以及行为引导机制，从而在可控环境中模拟和评估模型的潜在风险。

衍生相关工作

围绕该数据集已衍生出多个重要的研究方向。例如，JustAsk框架作为其技术基础，进一步发展成为系统提示词提取的标准化工具；ISC-Bench等基准测试则利用这些提示词深入探究大模型内部安全崩溃的机理。这些工作共同构建了一个从攻击到防御的完整研究生态，显著提升了领域的研究深度与广度。

数据集最近研究

最新研究方向

在大型语言模型安全研究领域，系统提示作为模型行为的关键控制机制，其透明性与安全性正成为前沿焦点。System Prompt Open数据集通过JustAsk框架从45个商业LLMs中提取系统提示，并以85-95%的准确率经Claude Code泄露源验证，为学术界提供了珍贵的实证材料。该数据集推动了针对模型内部安全机制的分析，特别是在提示注入攻击、模型越狱及对抗性安全评估等热点方向。其影响在于促进了大型模型安全研究的可复现性，为构建更稳健的AI系统提供了基准，并引发了关于商业模型透明度与责任披露的广泛讨论。