jacob-valdez/synthux-economy-r1-w012

SynthUX计算机使用数据集（经济模拟版本r1）是一个由SynthUX生成的基础视觉计算机使用轨迹数据集。每个记录代表一个模拟公司内工人的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用原生的多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

在模拟公司环境中，SynthUX系统为每位员工生成一个自然语言目标，该目标被递归展开为一棵节点树，其中叶子节点对应低层级的鼠标与键盘操作，驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、办公文档等）执行。每个工作会话的完整操作轨迹被记录为屏幕视频及每个叶子节点的独立帧图像，从而构建出基于真实应用的多应用交互数据集。

特点

该数据集独创地实现了应用原生的多应用并发执行，摒弃了传统的工作台覆盖层，确保交互行为的真实性。每位员工角色拥有独立的内容多样性，支持跨操作系统（macOS、Windows）的消息与协作。大规模多公司经济体模拟使得轨迹覆盖丰富的角色与场景，且每一条轨迹均包含从低层级输入事件到高层级语义节点的因果对齐信息。

使用方法

数据集以JSON Lines格式存储每条轨迹的元数据与事件序列，用户可通过加载data.jsonl文件获取包括目标、节点树、输入事件及对齐信息在内的完整结构。对应的屏幕截图与视频文件按轨迹ID分目录存放，便于进行视觉-行为联合分析。适用场景包括GUI代理的模仿学习、多应用工作流理解、以及基于因果状态的仿真环境评估。

背景与挑战

背景概述

SynthUX Economy R1 W012数据集由SynthUX团队于近期创建，旨在推进计算机视觉与图形用户界面（GUI）代理领域的研究。该数据集聚焦于模拟企业环境中多应用交互的视觉轨迹，核心研究问题是如何生成真实、多样的桌面操作序列以训练和评估GUI代理。每个记录包含一个虚拟员工在模拟公司内的完整设备会话，从自然语言目标到细粒度的鼠标键盘事件，并附带屏幕录像和逐节点帧。数据集覆盖六家模拟公司、36条轨迹，跨越macOS、Windows及浏览器操作系统，为多应用、跨平台的人机交互研究提供了宝贵的基准资源。其合成数据的可控性和多样性对开发自适应、鲁棒的GUI代理具有重要推动作用。

当前挑战

该数据集面临多重挑战。首先，在领域问题层面，GUI代理需应对真实世界中应用程序界面布局的动态变化、操作系统差异及多任务并行导致的复杂交互模式，现有模型常因缺乏多样化的、带标注的轨迹数据而泛化能力不足。其次，在构建过程中，SynthUX需解决模拟环境中跨应用（如终端、浏览器、邮件）的原子操作对齐问题，确保低层输入事件与高层目标的一致性；同时，生成包含36个不同角色和公司的经济模拟场景，需平衡内容多样性与数据生成效率，避免轨迹过于模板化。此外，确保屏幕录制的因果性（仅通过低层输入驱动状态变化）而不依赖高层API注入，增加了技术实现的难度。这些挑战凸显了在合成数据集设计中兼顾真实性、规模与可控性的重要性。

常用场景

经典使用场景

在计算社会科学与多智能体系统交互的交叉领域，SynthUX Computer-Use数据集为研究GUI智能体在复杂企业环境中的计算机操作行为提供了弥足珍贵的资源。该数据集精心记录了模拟公司内部不同角色员工在多应用并行场景下的完整屏幕操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多种桌面级软件。研究者可借此深入探究智能体如何将自然语言目标转化为低层级鼠标与键盘操作序列，以及如何在跨应用工作流中维持上下文连贯性与任务完成质量。这一数据集尤其适用于训练和评估那些需要理解真实图形界面、执行多步骤业务操作并适应动态环境变化的计算机使用智能体，成为连接语言模型与物理界面交互的桥梁。

衍生相关工作

受SynthUX Computer-Use数据集启发，一系列相关研究工作已围绕结构化轨迹推理与多模态操作学习展开。研究者基于该数据集的节点树结构，开发了能够从自然语言目标中自动生成操作子目标分解的层级规划模型，显著提升了长序列任务的执行成功率。另有工作致力于将数据集中低层级输入事件与屏幕帧对齐，训练视觉-语言模型直接从像素级输入预测下一步操作，从而绕过OCR与元素检测等中间步骤，实现了端到端的GUI交互能力。此外，该数据集的多公司经济模拟属性催生了面向组织行为学的智能体协作研究，这些工作利用不同角色对应的轨迹差异来探讨公司层级结构如何影响员工计算机使用模式，为组织管理与技术采纳研究提供了新颖的计算实验平台。

数据集最近研究

最新研究方向

在图形用户界面（GUI）智能体研究领域，SynthUX经济模拟数据集开创性地将多应用协同操作与大规模组织行为仿真相结合，突破了传统单一任务或孤立环境的数据局限。该数据集通过模拟企业内部员工的真实设备操作轨迹，涵盖终端、编辑器、浏览器、邮件及办公套件等多类桌面应用，构建出具备跨应用消息传递与角色经济互动的复杂生态。当前前沿研究正聚焦于利用此类多公司、多角色、多操作系统的合成轨迹，训练能够理解长链条业务意图、动态适应组织流程并执行低层级鼠标键盘操作的通用计算机使用智能体。这一数据范式不仅推动了GUI智能体从简单指令执行向模拟人类在数字工作场所中协作与决策能力的跃迁，也为评估智能体在真实经济场景下的鲁棒性与泛化性提供了关键基准，其影响力延伸至自动化办公、数字孪生与人机协同治理等热点领域。