royweiss1/GPT_Keylogger_Dataset

--- license: mit language: - en size_categories: - 100K<n<1M --- This Dataset is the dataset split that was used in the paper: "What Was Your Prompt? A Remote Keylogging Attack on AI Assistants", USENIX Security 24'. ## Citation ## If you use this dataset split in your work, please cite the original UltraChat dataset: ``` @misc{ding2023enhancing, title={Enhancing Chat Language Models by Scaling High-quality Instructional Conversations}, author={Ning Ding and Yulin Chen and Bokai Xu and Yujia Qin and Zhi Zheng and Shengding Hu and Zhiyuan Liu and Maosong Sun and Bowen Zhou}, year={2023}, eprint={2305.14233}, archivePrefix={arXiv}, primaryClass={cs.CL} } ``` And our work: ``` @inproceedings{weissLLMSideChannel, title={What Was Your Prompt? A Remote Keylogging Attack on AI Assistants}, author={Weiss, Roy and Ayzenshteyn, Daniel and Amit Guy and Mirsky, Yisroel} booktitle={USENIX Security}, year={2024} } ```许可证：MIT许可证 语言：英语 数据规模分类：10万 < 数据量 < 100万 --- 本数据集为学术论文《你的提示词是什么？针对AI助手的远程键盘侧录攻击》（USENIX安全研讨会2024，USENIX Security 24'）中所使用的数据集拆分版本。 ## 引用须知 ## 若您在研究工作中使用该数据集拆分版本，请同时引用原始UltraChat数据集的相关文献： @misc{ding2023enhancing, title={Enhancing Chat Language Models by Scaling High-quality Instructional Conversations}, author={Ning Ding and Yulin Chen and Bokai Xu and Yujia Qin and Zhi Zheng and Shengding Hu and Zhiyuan Liu and Maosong Sun and Bowen Zhou}, year={2023}, eprint={2305.14233}, archivePrefix={arXiv}, primaryClass={cs.CL} } 以及本研究的相关文献： @inproceedings{weissLLMSideChannel, title={What Was Your Prompt? A Remote Keylogging Attack on AI Assistants}, author={Weiss, Roy and Ayzenshteyn, Daniel and Amit Guy and Mirsky, Yisroel} booktitle={USENIX Security}, year={2024} }

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 语言: 英语
• 数据规模: 100K<n<1M

数据集来源

• 该数据集是论文 "What Was Your Prompt? A Remote Keylogging Attack on AI Assistants" 中使用的数据集分割，发表于 USENIX Security 24。

引用信息

• 原始数据集: UltraChat

  @misc{ding2023enhancing, title={Enhancing Chat Language Models by Scaling High-quality Instructional Conversations}, author={Ning Ding and Yulin Chen and Bokai Xu and Yujia Qin and Zhi Zheng and Shengding Hu and Zhiyuan Liu and Maosong Sun and Bowen Zhou}, year={2023}, eprint={2305.14233}, archivePrefix={arXiv}, primaryClass={cs.CL} }

• 相关工作:

  @inproceedings{weissLLMSideChannel, title={What Was Your Prompt? A Remote Keylogging Attack on AI Assistants}, author={Weiss, Roy and Ayzenshteyn, Daniel and Amit Guy and Mirsky, Yisroel} booktitle={USENIX Security}, year={2024} }

搜集汇总

数据集介绍

构建方式

该数据集源自于USENIX Security 2024会议论文《What Was Your Prompt? A Remote Keylogging Attack on AI Assistants》中使用的数据划分。其构建基础为UltraChat数据集，通过精心筛选与划分，形成了规模介于10万至100万条样本之间的子集。数据集的创建旨在支持针对AI助手的远程键盘记录攻击研究，确保样本覆盖多样化的对话场景与用户交互模式，从而为攻击检测与防御机制的开发提供扎实的数据基础。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集，使用标准的数据集API进行访问与预处理。数据集适用于序列分类、文本生成等任务，尤其适合构建针对AI助手输入提示的推断模型。建议使用者结合原论文提供的GitHub仓库（royweiss1/GPT_Keylogger）中的代码框架，复现攻击流程或开发新的防御策略。引用时需同时标注UltraChat原始论文及本数据集对应的安全会议论文。

背景与挑战

背景概述

在人工智能助手日益普及的背景下，用户与大型语言模型（如GPT系列）之间的交互安全性成为关键研究议题。royweiss1/GPT_Keylogger_Dataset由Roy Weiss、Daniel Ayzenshteyn、Guy Amit和Yisroel Mirsky等研究人员于2024年创建，源自发表于USENIX Security 24'的论文《What Was Your Prompt? A Remote Keylogging Attack on AI Assistants》。该数据集的核心研究问题在于揭示一种新型侧信道攻击：通过分析AI助手生成文本的时序特征，攻击者可能远程推断用户的输入提示，从而构成隐私泄露威胁。数据集基于UltraChat对话语料库构建，包含超过10万条样本，为评估此类攻击的有效性与防御机制提供了标准化基准，对人工智能安全领域的实证研究具有重要推动作用。

当前挑战

该数据集所面对的挑战首先体现在解决领域核心问题上：如何准确建模并检测基于生成文本时序特征的远程键盘记录攻击，这要求数据集涵盖多样化的用户输入模式与AI响应延迟，以模拟真实场景下的攻击可行性。其次，构建过程中面临显著困难，包括从原始UltraChat数据中提取精确的时序信息，确保样本的提示与响应时间戳具有高保真度；同时需平衡攻击检测的灵敏度与误报率，避免因数据噪声导致评估失真。此外，数据集的规模与标注质量直接关联到能否推广至不同语言模型架构，而当前版本仅聚焦于英文环境，限制了其在多语言安全研究中的适用性。

常用场景

经典使用场景

在人工智能安全研究领域，GPT_Keylogger_Dataset 作为一项开创性工作，被广泛应用于评估和验证针对大语言模型辅助系统的远程键盘记录攻击方法。该数据集源自USENIX Security 2024发表的论文，通过构建真实的交互环境，收集了大规模用户与AI助手的对话记录，为研究侧信道攻击提供了标准化的实验基准。研究者借助此数据集，能够系统性地分析攻击者如何通过推断模型输出中的时序与内容特征，还原用户输入的私密信息，从而揭示AI助手在隐私保护方面的脆弱性。

解决学术问题

该数据集的核心学术贡献在于解决了以往缺乏公开、结构化侧信道攻击数据集的问题，使得研究者能够量化评估AI助手在远程键盘记录攻击下的隐私泄露风险。通过提供超过10万条标注样本，它帮助学术界深入理解了攻击成功率的决定性因素，如提示词长度、上下文敏感度与模型解码策略。这一工作推动了安全领域从理论威胁建模向实证研究的转变，为后续设计防御机制（如随机化响应或差分隐私注入）奠定了数据基础，显著提升了人们对大模型部署中隐蔽信息泄露的警觉性。

实际应用

在实际应用中，GPT_Keylogger_Dataset 被企业安全团队用于红蓝对抗演练，测试内部AI客服或代码辅助工具是否易受侧信道攻击。例如，金融或医疗行业可借助该数据集模拟攻击场景，评估敏感数据（如密码或病历）被窃取的风险，并据此优化系统的响应策略。此外，该数据集还被集成到隐私合规检测工具中，帮助开发者在模型上线前自动扫描潜在的信息泄露通道，从而降低实际部署中的法律与声誉风险。

数据集最近研究

最新研究方向

该数据集聚焦于人工智能助手交互过程中的侧信道攻击前沿方向，具体揭示了通过远程键盘记录技术窃取用户与GPT模型对话提示词的潜在威胁。作为USENIX Security 2024收录的研究成果，该工作将传统网络安全领域的键盘侧信道攻击与新兴的大语言模型应用场景相结合，开创性地论证了AI助手使用环境下隐私泄露的新型攻击面。研究利用超过10万条对话样本构建攻击数据集，通过分析用户键入节奏、字符间隔等时序特征，实现了对用户输入提示词的高精度重构。这一发现不仅对当前广泛部署的聊天机器人、AI编程助手等应用构成直接安全挑战，更推动了学术界对AI系统交互层安全机制的重新审视，促使业界加速研发针对时序侧信道的防御策略，对保障人工智能生态系统的可信赖性具有里程碑式的意义。