jacob-valdez/synthux-economy-r3-w032

SynthUX计算机使用数据集（经济模拟r3）是由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司中的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用本地的多应用执行（无工作台覆盖），每个参与者的内容多样性，跨操作系统消息传递，以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX系统生成，每一份记录均源自模拟企业环境中一位工作者的设备会话。具体而言，一个自然语言目标被逐步展开为节点树，终端节点通过底层鼠标与键盘输入驱动真实的桌面模拟器应用程序——包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等——并记录观测到的轨迹，最终形成屏幕视频及各节点对应的帧图像。整个生成过程采用因果观测机制，仅通过底层输入进行变异，避免高层次应用干预。

特点

数据集的核心特色在于原生多应用并行执行，摒弃工作台叠加层，实现了每个参与者内容的多样性以及跨操作系统的消息交互，并构建了大规模的多公司经济体系。每条记录包含密集的低层级输入事件、因果模拟器状态、以及观测与输入事件到节点ID的链接关系。本次发布包含36条轨迹、917个帧、6个模拟公司，并覆盖macOS、Windows及浏览器三种模拟环境。

使用方法

数据存放于data.jsonl文件中，每条记录对应一条渲染后的轨迹。配套的screenshots目录按轨迹组织，存储每个终端节点在最后一次输入事件时刻的PNG帧；videos目录则提供完整的屏幕录像WebM文件。用户可通过解析JSON记录中的字段，如goal、tree.nodes、trajectory.input_events和trajectory.alignment，来训练或评估GUI代理的视觉理解与操作能力，亦可直接利用视频与帧数据进行多模态研究。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim r3) 数据集由 SynthUX 团队于近期创建，聚焦于多应用桌面环境下的图形用户界面（GUI）代理行为模拟。该数据集的构建旨在解决当前 AI 代理在复杂、多步骤计算机操作任务中缺乏真实、结构化训练数据的问题。通过模拟一个包含多个公司、角色和跨操作系统通信的经济体，它为研究代理在真实工作流程中的决策、执行与适应能力提供了独特的平台。数据集记录了 36 条轨迹、917 帧画面及完整的屏幕视频，覆盖 macOS、Windows 及浏览器三种操作系统环境，其创新性在于实现了多应用原生执行与基于低层输入事件的因果观测，为 GUI 代理的跨场景泛化研究奠定了坚实基础。

当前挑战

该数据集所应对的核心挑战在于，现有 GUI 代理训练数据多局限于单一应用或简单任务，难以涵盖真实工作场景中跨应用协调、多任务切换及长尾操作行为的复杂性。SynthUX 通过模拟多公司经济体中的员工角色，迫使代理在动态环境中处理包含终端、代码编辑器、浏览器及通讯工具等应用的复杂交互，这对代理的上下文理解与行为规划能力提出了极高要求。构建过程中面临的挑战包括：确保模拟轨迹的因果一致性（避免高层应用突变）、生成多样化且符合逻辑的节点树结构、以及跨操作系统的低层输入事件对齐，这些技术难点共同保障了数据的高保真度与可用性。

常用场景

经典使用场景

在图形用户界面智能体研究领域，SynthUX Economy数据集为多应用协同操作的计算机使用行为建模提供了宝贵资源。该数据集通过模拟公司内部不同角色的工作会话，捕获了从自然语言目标到底层鼠标键盘操作的完整轨迹，涵盖终端、浏览器、邮件、即时通讯、办公软件等多种桌面应用的交叉使用场景。研究者可借助这些丰富的视觉与事件序列数据，训练能够理解复杂多步骤任务并自主执行跨应用操作的智能体模型，尤其在需要模拟真实办公环境中信息流转与协作决策的场景下，该数据集展现出独特的价值。

实际应用

在实际部署中，该数据集可助力企业级办公自动化系统的研发，例如构建能够胜任财务核算、项目管理、客户沟通等综合性岗位工作的虚拟员工助手。通过训练模型理解经济模拟中不同角色（如市场专员、产品经理）的工作目标与操作习惯，企业可以开发出跨平台、跨应用的智能流程自动化工具，降低重复性人力成本。此外，该数据集支持的跨操作系统环境（macOS、Windows、浏览器）使其能够适配多元化的企业IT生态，在智能测试、用户行为分析、远程协作辅助等实际业务场景中释放广泛的应用潜力。

衍生相关工作

该数据集衍生出的代表性工作包括基于多模态轨迹的因果行为克隆方法，研究者利用帧级视觉观测与输入事件序列的因果对齐关系，训练智能体在未见过的公司模拟环境中复现复杂多步操作；还有工作探索了层次化任务分解技术，从轨迹中的节点树结构学习将高层目标拆解为可执行的终端子任务，并迁移到真实软件界面的操作中。此外，跨应用状态追踪模型也借助该数据集的多公司、多角色异质性，发展出对文档、邮件、聊天记录等异构信息源进行统一表征与推理的能力，这些工作共同丰富了GUI智能体在模拟经济生态中的研究范式。