jacob-valdez/synthux-economy-r4-w059

SynthUX计算机使用数据集（经济模拟r4）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。它模拟了公司环境中的工作会话，每个记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一个记录）、screenshots目录（每个终端节点的帧，以PNG格式存储）和videos目录（完整屏幕录制，以WebM格式存储）。记录模式包括轨迹ID、参与者ID、公司、角色、环境、自然语言目标、节点树、输入事件、观察结果、对齐信息和媒体引用。统计显示本构建包含36个轨迹、36个视频、1028个帧、6个公司，按环境分布为browser-os（12个）、macos-web-next（6个）、windows-web-next（18个）。数据集由SynthUX生成，观察结果是因果的，捕获期间未使用高级别应用程序突变。The SynthUX Computer Usage Dataset (Economic Simulation r4) is a vision-based computer usage trajectory dataset generated by SynthUX. It simulates work sessions in corporate environments, where each record represents a worker's device session within a simulated company: goals are expanded into node trees, and terminal nodes drive real desktop emulator applications (including terminals, notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and frames for each node. The dataset supports native multi-application execution (without workspace overlay), featuring content diversity per participant, cross-operating-system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset contains the data.jsonl file (one record per rendered trajectory), the screenshots directory storing frames of each terminal node in PNG format, and the videos directory storing full-screen recordings in WebM format. The record schema includes trajectory ID, participant ID, company, role, environment, natural language goal, node tree, input events, observations, alignment information, and media references. Statistics show that this build contains 36 trajectories, 36 videos, 1028 frames, and 6 companies, distributed across environments as browser-os (12), macos-web-next (6), and windows-web-next (18). The dataset is generated by SynthUX, where observations are causal, and no high-level application mutations were used during the capture period.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于模拟计算机使用场景中的视觉化轨迹。每个记录对应一个员工在模拟公司内的设备会话：系统将自然语言目标扩展为节点树，终端节点通过底层鼠标和键盘输入驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格、幻灯片等）。完整的轨迹以屏幕视频和每个节点的帧图像形式记录，确保了数据的细粒度与可复现性。

使用方法

数据集以JSON Lines格式存储，每条记录包含轨迹唯一标识、参与者与公司信息、清晰的语言目标、完整的终端节点树、密集的输入事件序列（含时间戳）以及因果模拟器状态。同时提供webm格式的屏幕录像与PNG格式节点帧。研究人员可直接解析`data.jsonl`文件进行轨迹分析，或搭配`videos`与`screenshots`目录进行视觉-行为联合建模，适用于GUI智能体、人机交互与多应用工作流的研究。

背景与挑战

背景概述

在图形用户界面（GUI）智能体领域，构建能够模拟真实用户与复杂桌面环境交互的基准测试数据集至关重要。SynthUX Economy R4 W059数据集由SynthUX团队于2024年提出，旨在通过合成方式生成多应用、多角色的企业级计算机使用轨迹。该数据集模拟了一家包含6家公司、36个完整工作会话的虚拟经济体，每个会话对应一名员工在桌面模拟器（如macOS、Windows、浏览器）上执行自然语言目标任务的完整过程。核心研究问题在于如何生成具有因果一致性的低层级交互数据，以支持GUI智能体在真实多应用场景中的训练与评估。该数据集以其大规模、多公司经济模拟和跨平台特性，为计算机使用自动化领域提供了独特的基准资源，推动了从单一任务到企业级协作场景的研究进展。

当前挑战

该数据集所解决的领域挑战在于GUI智能体在复杂多应用环境中的长期任务规划与执行能力不足，尤其是在跨应用数据流、多窗口调度和操作系统差异下保持任务连贯性的难题。构建过程中面临的核心挑战包括：一是如何设计自洽的经济模拟框架，使得每名员工的目标、角色与公司环境具有逻辑一致性，避免合成数据偏离真实企业行为；二是低层级输入事件（鼠标、键盘）与高层任务目标之间的因果对齐依赖于精准的节点树拆解，需要确保终端节点动作与屏幕观察的时序对应无误；三是跨三个操作系统模拟器（macOS、Windows、浏览器）的生成一致性，要求底层渲染引擎在保持成本可控的同时输出高保真帧与视频。此外，数据的可扩展性与多样性平衡也是难点，36条轨迹需覆盖6家公司中不同角色而不产生模式重复。

常用场景

经典使用场景

在人工智能与图形用户界面（GUI）自动化领域，SynthUX Economy-R4-W059数据集被广泛用于训练和评估多应用协同操作的计算机使用代理。该数据集记录了模拟公司内工作者在真实桌面模拟器上的完整操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和演示文稿等多个原生应用的跨程序交互。这些丰富的多步骤、多应用轨迹为研究者提供了高保真的训练素材，特别适合开发能够理解复杂自然语言目标、自主分解任务并执行低层级鼠标键盘操作的GUI代理模型。

解决学术问题

该数据集有效解决了当前计算机使用代理研究中普遍存在的两大瓶颈：一是缺乏涵盖多公司、多角色、多操作系统的细粒度轨迹数据，二是难以在真实应用环境中捕捉因果一致的执行状态。通过提供36条包含完整输入事件、观察状态和节点对齐的轨迹，以及跨6家模拟公司的经济场景设定，SynthUX让学术界得以深入探索代理在跨应用任务规划、多步溯因推理和鲁棒错误恢复等方向上的研究。其因果采样设计（仅依赖低层级输入通道）确保了观测数据的纯净性，为理解任务执行中的状态依赖关系奠定了坚实基础。

实际应用

在实际应用层面，该数据集直接服务于企业级智能工作流程自动化系统的研发。例如，基于这些轨迹训练的代理可以自动完成跨应用的数据整理（如从邮件附件提取数字后填入电子表格，再通过即时通讯发送报告）、多系统运维操作（如终端命令执行与代码编辑器同步调试），以及模拟真实员工在复杂业务场景下的桌面行为。此外，数据集中包含的macOS和Windows双平台轨迹，使得训练出的代理具备跨操作系统迁移能力，显著降低了企业在部署桌面自动化方案时的适配成本。

数据集最近研究

最新研究方向

SynthUX Economy R4 W059数据集聚焦于多应用协同的图形用户界面代理研究，通过模拟真实公司内部的多用户设备会话，生成包含低层级鼠标键盘操作的密集型视觉计算机使用轨迹。该数据集前沿性地引入跨应用、跨操作系统消息传递及多公司经济生态，为GUI代理在复杂企业环境中的自主决策与任务执行提供了高保真基准测试平台。其合成数据的因果性与逐节点对齐机制，推动了面向生产力软件的智能体研究，例如在财务模拟、车间调度等场景中，代理需同时操作终端、表格、浏览器及通信工具，这一方向与近期业界对通用计算机使用代理的投入浪潮高度契合，为评估代理在动态多任务中的鲁棒性与泛化能力奠定了关键数据基石。