AI45Research/SATraj-OS

SATraj-OS是一个用于计算机使用代理（CUAs）的大规模GUI轨迹数据集，旨在支持能力学习和安全训练。该数据集包含真实的GUI截图、多步交互轨迹和对抗性安全场景。数据集分为能力轨迹和安全轨迹两类，能力轨迹捕捉任务的成功与失败，安全轨迹则记录代理是否检测并避免攻击或未能防御攻击。数据集包含10,496个轨迹，158,196个步骤，平均每个轨迹长度为15.07步。适用于多模态下一步预测、长程GUI规划、联合能力与安全训练等应用。SATraj-OS is a large-scale GUI trajectory dataset for Computer-Using Agents (CUAs), designed for both capability learning and safety training. The dataset includes real GUI screenshots, multi-step interaction trajectories, and adversarial safety scenarios. It contains two types of trajectories: Capability and Safety. Capability trajectories capture task success and failure, while Safety trajectories capture whether an agent detects and avoids attacks or fails to defend against them. The dataset consists of 10,496 trajectories, 158,196 steps, with an average trajectory length of 15.07 steps. It is designed for applications such as multimodal next-step prediction, long-horizon GUI planning, and joint capability and safety training.

搜集汇总

数据集介绍

构建方式

SATraj-OS 数据集基于 Safactory 框架构建，旨在为计算机使用代理（CUA）提供统一的轨迹训练资源。其构建过程涵盖两大核心分支：能力轨迹与安全轨迹。能力轨迹采集自 15 种桌面应用与网页交互环境，包括 Chrome、GIMP、LibreOffice 组件及 VS Code 等，每个任务均包含成功与失败两种结局，总计 4,344 条。安全轨迹则引入 13 类对抗性攻击场景，如提示注入、钓鱼页面及恶意弹窗，生成 6,152 条包含安全与不安全的交互记录。每条轨迹以 JSON 格式存储，包含唯一的轨迹标识、多轮消息序列及对应的截图目录，确保图像与文本的严格对齐，为多模态学习提供结构化支持。

特点

SATraj-OS 的核心独特性在于其双重聚焦：既可支撑代理的能力学习，又能强化安全对齐训练。数据集包含 10,496 条轨迹，总计 158,196 个交互步骤，平均轨迹长度达 15.07 步，最长 30 步，具备长程规划的分析价值。能力部分细分为 10 个任务域，安全部分涵盖 13 种攻击类型，分布均衡且粒度精细。特别地，每条轨迹的结局标签采用四元安全评价体系，从成功/失败与安全/不安全两个维度进行交叉标注，为鲁棒性评估提供了丰富的基准。此外，数据集整合了真实 GUI 截图，精准记录每一步桌面状态，使模型能够在视觉与语义层面同步学习。

使用方法

该数据集适用于多模态下一动作预测、长程 GUI 规划以及联合能力-安全训练等任务。使用者可通过 HuggingFace 的 `load_dataset` 接口加载，指定配置名（如 `capability` 或 `safety`）即可获取对应子集。每条轨迹的 `messages` 字段包含系统指令、用户请求（含截图 URL）及助手动作代码，格式统一，易于接入现有强化学习或微调框架。建议在训练时利用 `result` 字段中的奖励值与安全标签，构建多目标优化目标；在评估时则可通过攻击元数据（如 `attack_type`）检验模型在对抗条件下的表现。典型应用包括桌面代理的鲁棒性对齐、安全拒绝行为的学习，以及长轨迹任务的成功率提升。

背景与挑战

背景概述

随着图形用户界面（GUI）在日常计算中的普及，能够自主操作桌面应用程序的计算机使用智能体（CUA）成为人工智能领域的研究前沿。SATraj-OS数据集由上海人工智能实验室于2026年提出，依托其Safactory框架生成，旨在系统性地推动CUA在能力学习与安全对齐两方面的协同发展。该数据集包含超过一万条多步交互轨迹，覆盖十类应用能力场景与十三类安全挑战场景，为长时程GUI规划、多模态预测及鲁棒性评估提供了统一的训练与基准资源，对于构建可信赖、可部署的自主智能体具有重要的促进意义。

当前挑战

现有GUI数据集多聚焦于任务执行能力，忽略了实际部署中智能体面临的恶意提示注入、钓鱼页面、误导性UI元素等安全风险，导致训练出的模型难以有效识别和防御攻击。SATraj-OS构建过程中的挑战包括：安全场景的全面覆盖与真实性模拟，需设计多样化的对抗样本并确保其不偏离实际威胁分布；能力轨迹与安全轨迹在统一格式下的融合，需平衡两者比例以避免模型偏向；大规模多步交互数据的自动采集与质量标注，需在保证轨迹成功率和安全标签准确性的前提下实现高效生成。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SATraj-OS数据集为训练和评估计算机操作智能体（CUA）提供了不可或缺的标准化平台。该数据集包含了涵盖Chrome、GIMP、LibreOffice等多款桌面应用以及操作系统级交互的逾万条多步操作轨迹，每条轨迹均配有真实截图与结构化动作序列。研究者可利用该数据集进行多模态下一步预测、长程GUI规划以及联合能力与安全训练，从而推动CUA在复杂桌面环境中的自主任务执行能力迈向新台阶。

衍生相关工作

SATraj-OS是Safactory框架的产物，该框架为大规模生成高质量的GUI智能体轨迹提供了可扩展的技术基础设施。基于该数据集，研究者已开展了一系列经典工作，包括探索联合能力-安全强化学习训练方法、设计针对GUI安全对齐的奖励模型，以及开发能够检测并防御多种攻击的鲁棒性智能体架构。数据集所定义的轨迹格式与标签体系也被后续工作广泛采纳，成为统一评估CUA能力与安全的行业标准，有力推动了可信自主智能体研究的深入发展。

数据集最近研究

最新研究方向

随着自主式计算机智能体（CUA）在桌面环境中的广泛应用，如何在提升其任务完成能力的同时确保系统安全性，已成为多模态智能体研究的前沿核心议题。SATraj-OS数据集应运而生，它创新性地将能力学习与安全对齐融合于统一的轨迹数据框架中，不仅覆盖了Chrome、VS Code、LibreOffice等15款常用桌面应用的多步交互，更首次系统性地引入了包括提示注入、钓鱼网页、恶意弹窗等13类对抗性攻击场景。这一前瞻性设计直面了当前多数GUI数据集忽视的现实安全风险，为智能体在复杂桌面环境下的长程规划、鲁棒性评估与防御机制训练提供了关键支撑。该数据集的发布标志着智能体研究从单纯的“任务执行”迈向“可信自治”的新阶段，其结构化轨迹格式也直接适配强化学习与偏好对齐等先进范式，有望显著推动安全导向型多模态智能体的快速发展。