jacob-valdez/synthux-economy-r5-w087

SynthUX计算机使用数据集（经济模拟r5版）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内员工的设备会话轨迹：目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹以屏幕视频和每个节点的帧形式记录。数据集特点包括应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集内容包含data.jsonl文件（每个渲染轨迹一个记录）、screenshots文件夹（每个终端节点的帧，在节点最后一个输入事件时捕获）和videos文件夹（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器：macos-web-next/windows-web-next/browser-os）、自然语言目标、节点树、输入事件、观察结果、对齐信息和媒体引用。本版本统计：8个轨迹、8个视频、180帧、4个公司，所有环境均为browser-os。数据集由SynthUX生成，观察结果是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots folder (a frame per terminal node, taken at that nodes last input event), and videos folder (the full screen recording). Record schema includes trajectory_id, actor_id, company, role_id, title, env (simulator: macos-web-next/windows-web-next/browser-os), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. Stats for this build: 8 trajectories, 8 videos, 180 frames, 4 companies, all by env: browser-os. Generated with SynthUX, observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，模拟了多公司经济体系中的计算机使用轨迹。每条记录对应一名员工在模拟公司内的设备会话，从自然语言目标出发，扩展为节点树，终端节点通过低层级鼠标和键盘输入驱动真实桌面模拟应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并记录完整的操作轨迹。数据采集过程中，每个终端节点被捕获为屏幕视频和逐帧截图，且观察结果基于因果关系，仅通过低层级输入通道实现，未使用高层级应用变异，确保了轨迹的真实性和可复现性。

使用方法

数据集以JSON Lines格式存储于data.jsonl文件中，每条记录包含轨迹ID、角色信息、目标、节点树、输入事件、观察状态等字段，便于程序化加载和分析。屏幕截图按轨迹和节点ID组织在screenshots目录下，全屏视频存放于videos目录，适合进行多模态学习。用户可依据轨迹ID遍历数据，结合节点对齐信息（alignment）将输入事件与观察状态关联，用于训练GUI智能体的决策模型或评估其在复杂多应用环境中的表现。

背景与挑战

背景概述

在人工智能与图形用户界面（GUI）自动化的交叉领域中，构建能够理解并操作复杂多应用环境的智能代理是当前研究的前沿。SynthUX Computer-Use数据集由SynthUX团队于近期创建，专注于模拟企业内部多应用计算机使用场景。该数据集通过合成轨迹的方式，记录了模拟员工在包含终端、笔记、代码编辑器、浏览器、通讯软件及办公套件等多应用桌面环境中的完整操作流程，涵盖鼠标、键盘等底层输入事件及屏幕视频。其核心研究问题聚焦于如何让AI代理在高度结构化的多应用经济仿真中，从视觉和操作层面学习并复现人类级别的计算机使用能力。该数据集的出现，为GUI代理研究提供了前所未有的细粒度、多层级、多组织的真实感训练与评估基准，有望推动自动化办公、数字助理等领域的实质性进展。

当前挑战

该数据集所面临的核心挑战包括：首先，在领域问题层面，它致力于解决的如何使AI代理在动态、多窗口、多应用协同的真实桌面环境中，实现从高维视觉输入到精准底层操作映射的端到端推理，这远比传统单应用或网页环境下的GUI任务复杂。其次，在构建过程中，SynthUX需要克服生成高度逼真且因果一致的多公司经济模拟轨迹的困难，这要求每个代理的行为必须符合其角色身份，并产生跨应用的一致业务逻辑（如通过邮件确认代码变更）。同时，平衡数据多样性（如6家不同公司、3种操作系统环境）与轨迹质量、确保低层级输入事件能够准确回溯到高层意图，并处理多达941帧的细粒度屏幕截图与视频的同步标注，均是技术实现上的严峻挑战。

常用场景

经典使用场景

在计算机视觉与智能体系统交叉领域，SynthUX Economy模拟数据集为训练和评估图形用户界面（GUI）智能体提供了精密的试验场。其核心应用场景是模拟多员工、多公司在真实桌面环境中的复杂计算机操作流程——从自然语言目标分解为原子级节点树，再通过底层鼠标键盘指令驱动终端模拟器（如浏览器、编辑器、邮件客户端）完成跨应用协作。研究者可利用该数据集的密集时间戳事件流、屏幕录像及逐帧截图，训练能够理解多步骤任务依赖、跨窗口上下文切换的视觉语言模型，或在条件性模仿学习框架下验证智能体对动态桌面环境的泛化能力。

解决学术问题

该数据集的构建直指当前智能体研究的两大困境：一是缺乏涵盖多应用协同操作的细粒度、可复现的轨迹数据；二是现有数据采集通常依赖人为预设的高层API接口，无法反映真实操作系统中的视觉与输入级交互。SynthUX通过因果式低层级输入记录（仅捕获鼠标键盘事件，而非应用层状态），使得每一次操作仅有单一变因，从而为学术界提供了探究多步推理中的状态回溯、动作归因以及阶段对齐等关键问题的理想数据源。它推动了关于“构造性GUI智能体”的基准测试方法学发展，并促使研究者重新思考如何在不依赖应用内部API的前提下，仅凭屏幕像素和时间序列事件实现对复杂工作流的建模与执行。

实际应用

在实际部署中，该数据集可被用于自动化办公流程的智能助手研发，例如基于屏幕录像学习如何跨应用处理报销审批、数据填报与会议安排。企业可以借助该数据集训练的智能体，在虚拟桌面沙箱内自动执行重复性高、步骤繁多的跨部门协作任务，如从Slack提取任务后在VS Code中修改代码并提交Git、随后在邮件中抄送对应成员。此外，金融与电商领域的UI自动化测试也可受益于该数据集所涵盖的多OS环境（macOS、Windows、浏览器），通过在其中学习到的策略对真实客户端软件进行智能兼容性测试，提升测试覆盖率并降低人工编写脚本的维护成本。

数据集最近研究

最新研究方向

SynthUX Economy数据集的发布标志着GUI智能体研究迈入多主体协同与复杂经济生态模拟的新阶段。该数据集聚焦于计算机使用领域的前沿方向，通过模拟跨公司、多角色的真实办公场景，构建了包含终端、浏览器、办公套件等多应用交互的密集轨迹记录。其核心创新在于：一是支持原生多应用并发执行，摒弃了传统工作台覆盖模式；二是实现了跨操作系统消息传递与大规模多公司经济体的动态仿真。这一数据集为训练能够理解复杂商业流程、执行多步骤任务并适应异构环境的智能体提供了关键基准，其层级化的节点树数据结构和因果观测记录尤为珍贵。鉴于当前业界对自动化和通用计算机使用能力的高度关注，该资源将有力推动从单任务自动化向企业级智能助手的范式跃迁，对金融模拟、企业流程优化等热点领域具有深远影响。