R-Judge

R-Judge是一个专为评估大型语言模型（LLMs）在处理代理交互记录时判断和识别安全风险能力而设计的数据集。该数据集由上海交通大学电子信息与电气工程学院创建，包含162条多轮代理交互记录，覆盖27个关键风险场景，涉及7个应用类别和10种风险类型。数据集中的每条记录都包含了用户指令和代理行动及环境反馈的历史，旨在通过这些复杂的多轮交互来评估LLMs的安全风险意识。R-Judge的应用领域主要集中在提高LLMs在开放代理场景中的安全风险意识，以解决在交互环境中可能出现的意外安全问题。R-Judge is a specialized dataset designed to evaluate the ability of Large Language Models (LLMs) to judge and identify security risks when processing agent interaction logs. This dataset was created by the School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, and includes 162 multi-turn agent interaction records covering 27 critical risk scenarios, involving 7 application categories and 10 risk types. Each record in the dataset contains the historical sequence of user instructions, agent actions and environmental feedback, aiming to assess the security risk awareness of LLMs through these complex multi-turn interactions. The primary application of R-Judge is to enhance the security risk awareness of LLMs in open agent scenarios, thereby addressing potential unexpected security issues that may arise in interactive environments.

搜集汇总

数据集介绍

构建方式

在大型语言模型（LLM）智能体日益广泛部署于交互式环境的背景下，R-Judge数据集的构建旨在系统评估LLM对智能体行为安全风险的感知能力。该数据集通过精心设计的流程构建，融合了公开收集与人工构造两种方式。首先，研究团队基于预定义的7个应用类别、27个关键风险场景和10种风险类型，从现有公开数据集（如ToolEmu和AgentMonitor）中筛选并转化了105条记录。同时，为确保数据的多样性与真实性，专家标注者通过头脑风暴，在特定场景中手动构造了57条高风险交互记录。每条记录均包含多轮次的用户指令、智能体动作与环境反馈，并由经过训练的人类标注者达成共识，标注了二元安全标签（安全/不安全）以及高质量的风险描述，从而形成了包含162条记录的基准数据集。

特点

R-Judge数据集的核心特点在于其针对LLM智能体行为安全的专业性与复杂性。数据集涵盖了程序、操作系统、物联网、软件、网络、金融与健康等7大应用类别，并细分为27个具体场景，确保了评估场景的广泛代表性。其记录的交互过程平均包含3轮对话与192.9个词汇，其中63%为不安全案例，真实模拟了智能体在开放环境中可能触发的隐私泄露、计算机安全、数据丢失、财务损失等10类核心风险。尤为突出的是，每条不安全记录均附有由人类标注的、结构化的风险描述，详细阐明了风险动机、触发行为与潜在后果，为模型的风险识别提供了清晰、可解释的参考标准。这种设计使得R-Judge不仅能评估模型的安全判断二元准确性，更能深入检验其风险分析与解释能力。

使用方法

R-Judge数据集主要用于评估LLM作为智能体安全监控器的风险感知能力，其使用方法遵循一个序列化的双阶段评估范式。第一阶段为风险识别测试：给定一条智能体交互记录，要求LLM生成一段开放性分析，判断并解释其中是否存在安全风险。该分析随后由自动评估器（基于GPT-4）与人类标注的风险描述进行比对，从警觉性（是否感知风险）与有效性（分析是否相关准确）两个维度进行评分。第二阶段为安全判断测试：基于第一阶段的自身分析，LLM需输出一个“安全”或“不安全”的二元标签，该标签与人类共识标签进行比对以计算精确率、召回率与F1分数。这种设计使得评估既包含了对风险理解的细粒度考察，也包含了对最终安全决策的二元检验，为全面衡量LLM在复杂、开放环境中的安全风险意识提供了有效且可靠的基准框架。

背景与挑战

背景概述

随着大语言模型在自主任务执行中的广泛应用，其代理在交互环境中引发的行为安全问题日益凸显。2024年，上海交通大学的研究团队提出了R-Judge基准数据集，旨在系统评估大语言模型在给定代理交互记录时识别与判断安全风险的能力。该数据集涵盖了程序、操作系统、物联网等七大应用类别下的27个关键风险场景，包含162条多轮交互记录，并标注了人类共识的安全标签与高质量风险描述。R-Judge的创立填补了现有研究对代理行为安全评估的空白，为促进安全可靠的智能代理发展提供了重要的实证基础。

当前挑战

R-Judge所针对的核心领域问题在于评估大语言模型在开放代理场景中的安全风险意识，这要求模型具备跨场景的风险识别与复杂交互推理能力。构建过程中的主要挑战包括：其一，多轮交互记录的逻辑复杂性使得高质量数据的人工标注成本高昂，且需确保不同标注者之间对安全共识的一致性；其二，风险场景的多样性与隐蔽性要求数据覆盖需平衡广度与深度，同时避免生成式模型因安全机制而无法批量产生有效风险案例；其三，评估框架需设计兼顾公平性与判别力的指标，以区分模型在风险识别与安全判断等多维能力上的差异。

常用场景

经典使用场景

在大型语言模型（LLM）代理日益融入现实世界应用的背景下，R-Judge数据集被设计用于评估LLM在给定代理交互记录时判断和识别安全风险的能力。该数据集通过涵盖程序、操作系统、物联网、软件、网络、金融和健康等七大应用类别下的27个关键风险场景，构建了162条多轮代理交互记录，为研究者提供了一个系统化的基准测试平台。其经典使用场景在于对LLM代理在开放环境中的行为安全性进行量化评估，帮助揭示模型在复杂交互中对潜在风险（如隐私泄露、计算机安全威胁、财务损失等）的感知与判断能力。

衍生相关工作

R-Judge数据集衍生了一系列关于LLM代理安全性的经典研究工作。例如，ToolEmu和AgentMonitor等研究通过模拟交互环境来识别代理执行中的风险，而R-Judge进一步将评估焦点扩展到LLM本身的风险意识能力。该数据集启发了对模型规模与风险感知关联性的探索，如实验表明参数量的增加有助于提升模型在安全判断和风险识别中的表现。同时，相关工作还探讨了提示工程、少样本学习等机制对安全性能的影响，并为未来开发专用于安全监控的微调模型（如基于风险描述的反馈系统）提供了重要见解，推动了LLM代理安全评估向更细粒度、多维度方向发展。

数据集最近研究

最新研究方向

随着大语言模型（LLM）驱动的智能体在现实世界应用中的广泛部署，其行为安全性已成为人工智能领域的前沿议题。R-Judge基准的提出，标志着研究焦点从传统的内容安全转向了开放环境中智能体交互风险的评估。该数据集通过构建涵盖7个应用类别、10种风险类型的多轮交互记录，系统性地评估了LLM在复杂场景下的风险意识能力。前沿研究揭示，当前顶尖模型如GPT-4的风险判断能力仍显著低于人类水平，且模型性能与参数规模呈现强相关性，表明风险意识依赖于深层的知识与推理能力。热点探索集中于利用风险描述作为环境反馈以提升模型安全性，同时揭示了针对特定场景的安全对齐与通用能力增强之间的平衡挑战。这一工作为开发更安全的自主智能体提供了关键评估工具与理论洞察，推动了人机协作安全标准的演进。

相关研究论文

• R-Judge: Benchmarking Safety Risk Awareness for LLM Agents

  上海交通大学电子信息与电气工程学院 · 2024年