jacob-valdez/synthux-economy-r4-w045

SynthUX计算机使用数据集——经济模拟r4，由SynthUX生成的基础视觉计算机使用轨迹。每条记录模拟一个公司内工人的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每节点帧。应用原生多应用程序执行（无工作台覆盖），每个参与者内容多样性，跨操作系统消息传递，以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源于SynthUX框架，在模拟公司环境中生成了基于真实视觉的计算机使用轨迹。每个记录对应一名员工在模拟企业内的设备会话过程：一个自然语言目标被逐步分解为节点树，终末节点通过低层级鼠标与键盘输入驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格处理及演示文稿软件等），完整的行为轨迹以屏幕视频和逐节点截图的形式被记录。数据集的构建摒弃了工作台覆盖层，采用应用原生多应用执行方式，确保了跨演员内容多样性与跨操作系统消息交互，并通过多公司经济模拟的方式体现生态规模。每条轨迹均以`data.jsonl`文件存储，附有按时间戳排序的屏幕截图与全屏视频文件。

特点

该数据集的核心特征在于其多应用真实桌面环境下的原生操作模拟，而非简化的工作台叠加层。每个轨迹包含密集的低层级输入事件序列（鼠标、键盘及脚本）与因果模拟器状态，使得研究人员能够追溯每个事件对应用状态的直接影响。数据集覆盖了macOS、Windows及浏览器三种模拟环境，并涵盖了六家不同公司的36条轨迹，总计931帧截图。此外，每条轨迹均记录了演员的角色、所属公司、岗位以及对应的自然语言目标，并在数据中嵌入了观察结果与输入事件到具体节点的对齐信息，从而为细粒度的GUI智能体行为分析提供了结构化支撑。

使用方法

该数据集适用于训练与评估基于视觉的计算机操作智能体。使用者可通过加载`data.jsonl`文件解析轨迹元数据与事件序列，利用`screenshots`目录下的逐节点截图与`videos`目录中的全屏视频进行多模态输入。每条轨迹的`tree.nodes`字段提供了终末节点的层次结构，而`trajectory.alignment`字段则建立了观察结果与输入事件的对应关系，便于构建监督学习或强化学习的训练样本。建议研究人员在解析时注意不同模拟环境（browser-os、macos-web-next、windows-web-next）之间的差异，并利用`actor_id`与`company`字段进行跨角色与跨公司的泛化能力验证。

背景与挑战

背景概述

在图形用户界面（GUI）智能体与计算机使用自动化领域，多应用协同操作与真实环境模拟一直是研究的前沿挑战。SynthUX-Economy-R4-W045数据集由SynthUX团队于2024年创建，聚焦模拟企业经济环境中的多应用、多角色GUI操作轨迹，旨在解决合成数据缺乏真实多公司交互与细粒度视觉一致性的问题。该数据集包含来自6家模拟公司的36条轨迹，覆盖macOS、Windows及浏览器三种桌面环境，通过底层鼠标键盘事件驱动Notes、VS Code、Slack等原生应用，记录了完整的屏幕视频与逐节点帧。其核心研究问题在于如何生成可扩展、高保真的多应用计算机使用数据，以支撑GUI智能体的训练与评估，对推动企业级自动化任务的研究具有重要影响力。

当前挑战

该数据集应对的领域挑战在于GUI智能体在复杂多应用环境中的决策能力缺失，现有基准往往局限于单应用或简化交互，难以泛化至真实企业场景。构建过程中面临两大核心挑战：一是如何保证不同角色（如员工、经理）在同一模拟公司内，通过不同操作系统（macOS与Windows）的跨应用消息传递（如邮件、Slack）时，生成内容具有多样性与逻辑一致性；二是数据生成引擎SynthUX需在无高级API介入的情况下，仅依赖底层输入（鼠标/键盘）作为变异通道，精确记录因果状态，这要求模拟器在保持视觉真实性的同时，避免观测偏差，确保每条轨迹的屏幕视频与节点帧对齐无误。

常用场景

经典使用场景

在计算机视觉与智能体研究的交汇处，SynthUX Economy数据集为多应用GUI智能体的行为建模提供了前所未有的细粒度观测资源。该数据集包含36条完整的桌面操作轨迹，每条轨迹均由模拟公司中的虚拟员工在真实操作系统环境中执行自然语言任务时产生，覆盖macOS、Windows及浏览器三种操作系统。每个轨迹不仅保留了完整的屏幕录像（webm格式）和逐节点的关键帧截图，还记录了从鼠标点击、键盘输入到脚本调用的密集底层事件流，以及因果性的模拟器状态序列。这使得该数据集成为研究视觉-语言模型在多步GUI操作任务中的感知、推理与执行能力的理想基准，尤其适用于评估智能体在复杂、多应用协同工作流中的泛化与鲁棒性表现。

衍生相关工作

基于SynthUX Economy数据集独特的结构化轨迹设计，研究者已经发展出多条富有启发性的研究路径。在数据生成方法论层面，该数据集所依赖的SynthUX框架本身便是一项标志性工作，它通过多公司、多角色的经济模拟范式，展示了如何利用合成数据扩增真实世界GUI交互的广度与深度。在模型评估与训练方面，该数据集激发了对视觉-语言智能体在长期任务中探索-利用平衡、错误恢复与跨应用记忆机制的系统性研究，推动了如AgentBench、OSWorld等跨应用智能体基准测试的演进。此外，数据集中因果性的状态与事件对齐方式，为后续研究提供了构建可解释的神经符号GUI智能体的宝贵线索，引发了关于如何将底层输入事件与高层任务意图进行可微分连接的理论探讨。

数据集最近研究

最新研究方向

SynthUX Economy R4 W045数据集聚焦于多应用计算机使用场景下的GUI智能体行为建模，通过模拟多公司经济生态中员工的桌面操作轨迹，为视觉驱动的计算机使用智能体提供细粒度、跨平台的真实交互数据。该数据集的前沿研究方向体现在合成数据生成与多应用协同执行的深度融合，利用模拟经济系统中的角色多样性、跨操作系统消息传递及多公司交互，突破了传统单应用或单用户轨迹数据的局限。其背景与当前GUI智能体领域的热点事件紧密相连——随着大语言模型驱动的自主代理在浏览器、桌面应用等复杂图形界面上的应用需求激增，SynthUX通过低层级的鼠标/键盘事件录制和节点级语义对齐，为训练具备上下文理解与多步规划能力的计算机使用智能体提供了高质量基准。这一数据集的出现不仅推动了图形界面自动化任务的性能评估标准化，还通过其大规模、多actor的模拟经济环境，为研究智能体在动态组织协作中的泛化与鲁棒性提供了关键资源，对实现真正具有生产效能的数字劳动力具有深远意义。