RiOSWorld

RiOSWorld是一个面向问题回答任务的英语数据集，关注于基于MLLM的计算机使用代理的安全性和风险。数据集包含小于1K的实例，并提供了一系列特征，包括id、快照、来源、指令、配置、轨迹、相关应用程序、评估器和风险评估器。该数据集旨在为研究基于MLLM的计算机使用代理的风险提供基准。

原始信息汇总

数据集概述

基本信息

• 名称: RiOSWorld
• 许可证: Apache-2.0
• 任务类别: 问答（question-answering）
• 语言: 英语（en）
• 标签:
  • Agent Safety
  • MLLM-based Computer-Use Agent
  • MLLM-based Computer-Use Agent Risk
  • arxiv:2506.00618
• 规模类别: n<1K

数据集结构

• 特征:
  • id (string)
  • snapshot (string)
  • source (string)
  • instruction (string)
  • config (sequence)
    • type (string)
    • parameters (string)
  • trajectory (string)
  • related_apps (sequence of strings)
  • evaluator (string)
  • risk_evaluator (string)
• 配置:
  • config_name: benchmark
    • 数据文件: data.json (split: test)

相关资源

• 论文: arxiv.org/pdf/2506.00618
• 环境和基准: github.com/yjyddq/RiOSWorld
• 项目页面: yjyddq.github.io/RiOSWorld.github.io/

数据下载

bash dataset = load_dataset("JY-Young/RiOSWorld", split=test)

致谢

部分代码借鉴自：

• OSWorld
• PopupAttack

搜集汇总

数据集介绍

构建方式

RiOSWorld数据集聚焦于多模态大语言模型（MLLM）驱动的计算机使用代理风险研究，其构建过程体现了严谨的学术方法论。研究团队通过系统化采集真实场景下的用户指令与代理行为轨迹，采用分层抽样策略确保数据多样性。数据标注环节由专业风险评估员完成，每个样本均包含完整的操作上下文、指令配置及风险评级，并经过交叉验证以保证标注一致性。数据集构建过程中借鉴了OSWorld和PopupAttack等前沿项目的技术方案，最终形成包含多维度风险案例的标准化测试集。

特点

该数据集的核心价值在于其针对MLLM代理安全风险的专门化设计。数据样本涵盖网络浏览、文件操作、系统配置等典型计算机使用场景，每个案例均包含完整的操作轨迹记录和风险等级标注。独特的配置参数序列设计允许研究者深入分析风险触发条件，而关联应用程序字段则揭示了风险传播路径。数据集通过可视化统计图表清晰呈现指令主题分布和风险类型比例，为安全研究提供直观的量化依据。

使用方法

研究者可通过HuggingFace平台便捷加载数据集，标准化的JSON格式确保良好的跨平台兼容性。使用load_dataset()函数可直接获取测试集，其中每个样本包含id、snapshot、instruction等结构化字段。建议结合官方提供的环境基准测试工具进行实验，通过分析trajectory字段还原代理行为序列，利用risk_evaluator字段验证安全防护机制的有效性。数据集的GitHub仓库包含完整的评估框架和案例可视化工具，支持端到端的风险分析研究流程。

背景与挑战

背景概述

RiOSWorld数据集由研究团队于2025年5月31日发布，旨在探索多模态大语言模型（MLLM）在计算机使用代理中的安全性问题。该数据集聚焦于代理在执行任务过程中可能引发的风险场景，通过收集多样化的用户指令和操作轨迹，为评估代理系统的安全性能提供了重要基准。相关研究成果已发表于学术论文，并获得开源社区广泛关注，推动了人机交互安全领域的发展。

当前挑战

RiOSWorld数据集面临的核心挑战包括两方面：在领域问题层面，如何准确识别和分类MLLM代理在复杂计算机操作中产生的潜在风险，这需要解决多模态指令理解与安全边界界定的难题；在构建过程层面，数据采集需平衡真实场景覆盖度与伦理合规性，同时轨迹标注要求精确还原操作步骤与风险触发点，这对标注人员的专业素养提出了较高要求。

常用场景

经典使用场景

在智能代理安全研究领域，RiOSWorld数据集为评估多模态大语言模型（MLLM）驱动的计算机使用代理风险提供了标准化测试平台。其独特的交互轨迹记录和风险标注机制，使得研究者能够系统分析代理在复杂操作系统环境中的异常行为模式，特别是在处理敏感指令时的安全漏洞。

衍生相关工作

基于该数据集衍生的经典研究包括《MLLM-Agent-Risk》风险分类体系，以及PopupAttack团队开发的对抗性测试框架。这些工作扩展了操作系统环境下代理行为的风险评估维度，其中部分方法论已被纳入国际人工智能安全标准ISO/IEC 23053的测试规范。

数据集最近研究

最新研究方向

在智能体安全领域，RiOSWorld数据集作为面向多模态大语言模型（MLLM）计算机使用代理风险评估的专项语料库，近期研究聚焦于智能体在复杂操作系统环境中的行为安全性验证。该数据集通过记录用户指令轨迹、应用交互配置等结构化特征，为分析智能体在文件操作、网络访问等场景下的潜在风险提供了实证基础。2025年发布的配套基准环境推动了人机协作安全方向的前沿探索，特别是在防范越权操作、隐私泄露等关键风险场景中展现出重要价值。其创新性的风险评估框架设计，正逐渐成为学术界检验智能体安全协议有效性的重要工具。