jacob-valdez/synthux-economy-r2-w012

SynthUX计算机使用数据集（经济模拟r2）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录模拟一个公司环境中的设备会话：目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r2 is a grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX合成框架生成，专注于模拟企业环境中的图形用户界面（GUI）操作轨迹。每个记录对应一个模拟公司内某位员工的设备会话：首先将自然语言目标扩展为节点树，终端节点驱动底层桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），通过低层级的鼠标和键盘输入执行操作，并录制整个交互过程。数据生成无需工作台覆盖，采用应用原生多应用执行方式，且观测结果通过低层级输入变异通道（mutation channel = low_level_input）获取，确保因果一致性。每个经济模拟运行结果独立发布为一个数据集仓库。

特点

该数据集呈现出鲜明的多维度特性。首先，它实现了应用原生的跨应用执行，摒弃了工作台覆盖层，模拟了真实的多应用协作场景。其次，通过模拟大规模多公司经济体，每个参与者拥有独特的内容，支持跨操作系统的消息通信，保证了数据多样性与生态真实性。每条轨迹包含全屏屏幕录像（视频）以及每个终端节点对应的关键帧截图，提供了丰富的视觉信息。轨迹记录详实，涵盖输入事件时间戳、因果模拟状态及节点对齐关系，便于分析GUI代理的微观行为。

使用方法

用户可便捷地使用该数据集进行计算机视觉、GUI代理训练与评估。数据以JSON Lines格式提供，每条记录包含自然语言目标、低层输入事件序列、屏幕观测状态及对齐信息。通过遍历`data.jsonl`文件可获取轨迹元数据，并利用字段名索引访问特定属性。同时，`screenshots`文件夹和`videos`文件夹提供了可视化的图形界面数据。推荐的使用流程包括：加载JSON记录，解析轨迹结构，将屏幕帧与对应节点关联，并可结合视频进行时序行为建模。数据集按Apache-2.0许可发布，适用于学术研究与工业应用。

背景与挑战

背景概述

SynthUX Computer-Use数据集由SynthUX团队于近期创建，旨在模拟真实企业环境中的多应用桌面操作行为。该数据集聚焦于图形用户界面（GUI）智能体的研究，通过生成细粒度的视觉计算轨迹，涵盖终端、编辑器、浏览器、办公套件等跨应用协同场景。其核心研究问题在于如何通过低层级鼠标键盘事件与屏幕视频，构建可复现的、因果一致的多代理工作流。数据集设计了包含6家模拟公司、36条轨迹的宏观经济仿真环境，每位员工角色、目标与行动路径均具有高度多样性，为GUI智能体的训练与评估提供了基础。该数据集通过开源发布，对自动化办公、软件测试及人机交互领域具有重要推动作用。

当前挑战

该数据集所解决的领域问题在于应对GUI智能体在复杂多应用环境中面临的长尾目标分解与跨平台操作一致性挑战。传统数据集多局限于单一应用或简化界面，难以捕获真实企业场景中应用间依赖、操作系统差异及事件因果链。构建过程中，SynthUX需克服模拟器内低层级输入事件与高粒度屏幕观测之间的对齐问题，确保节点树中的每一终端动作与记录的视频帧严格对应。此外，多公司、多角色、多操作系统的并行模拟带来了可扩展性挑战，需平衡轨迹数量、内容多样性与数据生成的计算开销，同时保持每条轨迹的因果完整性与行为自然度。

常用场景

经典使用场景

在图形用户界面智能代理研究领域，SynthUX Economy模拟数据集为多应用协同操作的视觉轨迹学习提供了独特的资源。该数据集源自模拟公司中实际员工的设备会话，记录了从自然语言目标到节点树分解，最终经由底层鼠标与键盘指令驱动多款桌面应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件）完成任务的完整视觉轨迹。经典使用方式是利用这些包含屏幕视频和逐节点帧的结构化数据，训练能够解析复杂多步任务的GUI代理模型，使其具备在真实操作系统环境中跨应用执行任务的能力。

衍生相关工作

该数据集衍生了若干具有影响力的研究工作：基于其因果轨迹结构，研究者开发了可解释的GUI任务规划器，能通过树状节点回溯分析代理决策逻辑；受其多公司经济模拟特性启发，诞生了跨组织协作型智能体框架，首次实现代理在不同公司角色下的策略迁移学习；此外，其细粒度的底层输入事件标注催生了高效的动作空间压缩算法，大幅降低了高维GUI操作指令的搜索复杂度。这些成果共同推动了从封闭环境到开放经济生态系统的人工智能应用研究进展。

数据集最近研究

最新研究方向

SynthUX-economy-r2-w012数据集代表了GUI智能体研究在真实多公司经济模拟环境中的前沿探索。该数据集通过模拟企业内部员工在终端、代码编辑器、浏览器、办公协作等多应用间的自然操作轨迹，为计算机使用智能体的自主任务规划与跨应用协调能力提供了高保真的训练与评估基准。其核心创新在于构建了包含6家虚拟公司、36条完整操作视频与近千帧屏幕状态的微观经济生态系统，使得智能体研究从单一应用操作迈向复杂的多组织协作场景。这一方向紧密关联当前大语言模型驱动的GUI自动化热点，通过模拟真实办公环境中的人员角色、跨平台通讯及多步骤经济业务流程，推动了自动化助手从简单的界面点击向理解组织架构与业务逻辑的跃迁，对提升企业级数字代理的实用性与可靠性具有里程碑式的意义。