jacob-valdez/synthux-economy-r4-w030

SynthUX计算机使用数据集（经济模拟r4）是由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察轨迹记录为屏幕视频加上每个节点的帧。该数据集支持应用程序本地的多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer Usage Dataset (Economic Simulation r4) is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker within a simulated company: Goals are expanded into node trees, and terminal nodes drive real desktop simulator applications (such as Terminal, Notes, VS Code, browsers, Slack/Teams, Mail, Sheets, Slides, etc.) via low-level mouse and keyboard inputs, with the observation trajectory recorded as screen video plus frame data for each node. This dataset supports multi-application execution within individual applications (without workspace overlay), featuring content diversity per participant, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架生成，聚焦于模拟企业环境中的图形用户界面（GUI）代理行为。每个数据记录对应一名虚拟员工在模拟公司内的设备会话过程。用户的宏观目标被分解为节点树，终端节点通过低层级的鼠标与键盘输入驱动真实的桌面模拟应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件客户端、电子表格与演示文稿等），完整记录从目标到操作的可观测轨迹，并以屏幕视频及各节点截图的形式保存。

使用方法

数据以JSON Lines格式存储于data.jsonl文件中，每条记录包含轨迹ID、参与者信息、公司归属、目标描述、操作节点树及细粒度的输入事件序列等内容。屏幕录像以WebM格式存放于videos目录，每节点截图以PNG格式存放于screenshots目录，命名规则为<trajectory>/<node_id>.png。用户可通过解析JSON字段提取轨迹、事件与对齐信息，结合截图与视频进行GUI代理的行为分析与模型训练。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim）数据集由SynthUX团队于近年构建，专注于解决图形用户界面（GUI）智能体在复杂多应用协同场景中的视觉轨迹生成问题。该数据集源自模拟公司内部的多智能体经济仿真，每个记录对应一位员工在虚拟企业环境中的设备会话，涵盖从自然语言目标到低层级鼠标、键盘输入的完整操作链条。研究核心在于通过合成数据驱动的方法，为GUI智能体提供包含跨操作系统消息、多应用原生执行（如终端、代码编辑器、浏览器、办公套件等）及大规模多公司经济交互的落地点位。该数据集因其实机桌面模拟器（不含工作台覆盖层）的保真度和每角色内容多样性，在计算机使用场景的泛化性评估中具有开拓性影响。

当前挑战

当前数据集面临三重挑战：其一，GUI智能体领域长期受困于真实操作数据的稀缺性与标注成本问题，SynthUX虽通过合成流程生成36条轨迹、1007帧屏幕截图，但有限的公司数量（6家）和轨迹规模可能限制模型在任意企业环境中的迁移能力；其二，构建过程中需协调模拟器环境（macOS、Windows、浏览器OS）间的硬件抽象差异，防止低层级输入信号在高频录屏（WebM视频）与事件时间戳（t_ms）对齐时产生偏移；其三，经济仿真中多智能体异步交互导致的状态因果链复杂，观测数据仅通过低层输入信道突变记录，缺乏对高层应用内部逻辑的显式建模，增加了轨迹可解释性的分析难度。

常用场景

经典使用场景

SynthUX-economy-r4-w030数据集的核心应用在于为计算机视觉与图形用户界面智能体研究提供多应用、多平台的精细操作轨迹。每个样本记录了一名模拟员工在虚拟公司中的完整设备会话，涵盖从自然语言目标到终端节点执行的完整决策树，并附带底层鼠标与键盘输入事件、屏幕视频以及逐帧截图。研究者利用这些数据可训练模型理解跨应用的工作流（如同时在终端、代码编辑器、邮件客户端与浏览器中协同操作），并验证其在真实桌面环境中的泛化能力。数据集独特的多公司、多角色设计，为探究组织情境下的用户行为多样性提供了基准，尤其适合开发能够感知上下文并执行复杂多步骤任务的GUI智能体。

解决学术问题

该数据集直面学术界在构建通用计算机使用智能体时面临的核心挑战：缺乏真实、细粒度且跨平台的多应用交互数据。传统基准多局限于单一应用或简化模拟器，难以反映现实世界中信息流在邮件、协作工具、代码环境与浏览器间的动态迁移。SynthUX通过引入因果模拟状态记录，使研究者能够区分观测结果与低级输入之间的因果链条，从而解决智能体归因学习中的混淆问题。此外，数据集中包含的跨操作系统消息传递场景，为研究异构环境下的任务迁移与意图对齐提供了关键素材，推动了从封闭测试到开放部署的学术范式演进。

实际应用

在实际部署中，该数据集可支撑企业级自动化助手、软件测试与办公流程优化等方向。例如，基于轨迹数据训练的模型能够自动执行财务核对、客户响应编排等跨系统操作，减少人工重复劳动。数据集的细粒度事件记录（包括时序对齐的鼠标轨迹与键盘事件）使得开发人员可精确复现并审计每一步操作，这对于金融、医疗等监管严苛的行业尤为重要。同时，多公司、多角色设定支持构建个性化助手——同一智能体可根据不同员工的身份与权限，在共享经济模拟环境中动态调整行为策略，从而提升人机协作的效率与安全性。

数据集最近研究

最新研究方向

随着多模态大语言模型与GUI智能体的融合日趋深化，SynthUX Economy R4数据集为计算机使用场景中的多应用协同与跨组织经济仿真开辟了前沿路径。该数据集通过在模拟公司内部部署真实桌面应用（终端、编辑器、浏览器、通信与办公套件），生成原生多应用执行的细粒度轨迹，并基于低层级鼠标/键盘事件进行因果观察记录，从而突破了传统合成数据依赖工作台叠加的局限。其核心创新在于将GUI交互建模拓展至跨操作系统消息传递与多公司经济体层面，为研究复杂工作流中的自主任务规划、节点树展开与视觉状态对齐提供了高保真基准。这一方向紧密呼应了当前AI领域对可泛化屏幕理解与具身代理协同的热点追求，对推动安全、可控的自动化桌面助手落地具有重要实证意义。