jacob-valdez/synthux-economy-r4-w032

SynthUX计算机使用数据集—经济模拟r4，由SynthUX生成的基于视觉的计算机使用轨迹。每个记录代表一个工人在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架构建，模拟了一个多公司经济体系中的员工设备操作场景。每个记录对应一名工作者在模拟公司内的完整设备会话：首先将自然语言目标分解为节点树，随后终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），最终将观测到的操作轨迹记录为屏幕视频及各节点对应帧。模拟过程采用应用原生多应用执行模式（无工作台覆盖），确保行为真实性，并通过跨操作系统消息传递实现多公司经济互动。每个经济模拟均作为独立数据集仓库发布。

使用方法

数据集以标准JSONL格式提供，每条记录包含唯一轨迹ID、参与者与公司信息、自然语言目标、节点树结构及密集的底层操作事件。用户可通过`screenshots/<trajectory>/<node_id>.png`路径访问各终端节点对应的关键帧图像，并通过`videos/<trajectory>.webm`获取完整屏幕录像。利用`trajectory.input_events`字段可分析鼠标/键盘事件的时序分布，结合`trajectory.alignment`信息可定位特定节点对应的观察结果与输入事件范围，从而高效开展计算机使用行为建模、GUI智能体训练及多应用协同任务研究。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r4）由多公司模拟环境下的合成数据生成工具SynthUX于近期创建，主要研究团队致力于解决图形用户界面（GUI）代理在复杂跨应用场景下的视觉决策问题。该数据集模拟了一个包含多家虚拟公司的经济运行体系，记录了35条完整的计算机使用轨迹，涵盖员工在macOS、Windows及浏览器环境中的自然语言目标驱动行为，通过低层级鼠标键盘操作与多应用协作（如终端、代码编辑器、通信软件、办公套件等）生成视觉轨迹。作为首个专注于多公司经济模拟的GUI代理数据集，它为研究代理在真实世界复杂工作流中的感知、规划与执行能力提供了标准化基准，推动计算机使用任务从单一应用向跨组织、多应用协同的演进。

当前挑战

该数据集面临的核心挑战包括三方面：首先，在领域问题上，GUI代理需处理跨应用时序依赖与动态环境交互，现有模型难以从稀疏低层级输入事件中精准推断高层用户意图并适应多公司经济活动的多样性；其次，在构建过程中，如何保证合成数据的生态效度是一大难题，需在模拟器中平衡行为真实性与生成效率，同时避免因应用级API直接操作（high-level app mutation）而偏离真实用户交互的因果链条；此外，多操作系统环境（browser-os、macos-web-next、windows-web-next）的异构性导致轨迹对齐和评估指标设计复杂，而有限轨迹数量（35条）也制约了模型泛化能力的验证。

常用场景

经典使用场景

在计算机视觉与智能体交互的交叉领域，SynthUX Economy数据集凭借其多应用、多窗口、跨操作系统的原生桌面仿真特性，成为评估图形用户界面（GUI）智能体在真实经济模拟环境中执行复杂任务能力的基准。每个轨迹记录了一名虚拟员工在模拟公司内，基于自然语言目标驱动、通过低层级鼠标与键盘操作完成多步任务的全过程，涵盖了终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格、幻灯片等主流桌面应用的协同使用。研究者通常利用该数据集训练或测试GUI智能体在屏幕视频上的视觉理解、任务规划与低层次动作生成能力，尤其关注模型能否在不依赖应用元数据或工作台叠加层的前提下，仅凭像素级画面与输入事件序列实现跨应用、跨窗口的连贯操作，从而逼近人类在真实办公场景中的交互模式。

解决学术问题

该数据集的诞生解决了当前GUI智能体研究中普遍存在的两大瓶颈：一是缺乏高保真、多应用、因果对齐的轨迹数据以支撑端到端的视觉-动作联合学习；二是现有数据集多局限于单一应用或静态截图，无法反映多任务交织、环境动态变化的复杂办公生态。通过记录每个终端节点执行后模拟器的因果状态，并建立观察、输入事件与动作节点之间的精细对齐，SynthUX Economy使研究者能够深入探究智能体在长尾任务中的搜索策略、错误恢复能力以及跨应用上下文保持机制。其发布推动了从简单的指令跟随向动态环境中的自主规划与执行演进，为构建能够理解图标、菜单、对话框等GUI元素语义的视觉大模型提供了可复现的基准，显著降低了桌面自动化研究中数据采集与标注的门槛。

实际应用

在实际应用层面，SynthUX Economy数据集所刻画的场景直接映射到企业级办公自动化、软件测试与远程协作工具优化等真实需求。例如，企业可以基于该数据集训练智能助手，使其能够自动完成财务报表整理、跨部门邮件撰写、代码仓库与项目管理工具之间的信息同步等繁琐事务，大幅提升员工工作效率。软件质量保障团队可利用其多窗口、多应用并行的轨迹，测试自动化测试脚本在不同操作系统（macOS、Windows、浏览器）上的兼容性与鲁棒性。此外，该数据集还为无障碍辅助技术提供了训练素材，帮助视觉障碍用户通过语音指令间接控制任意桌面应用。随着混合办公模式的普及，此类能够理解并复现人类电脑操作流程的智能体，正逐步成为数字员工生态中不可或缺的一环。

数据集最近研究

最新研究方向

在图形用户界面（GUI）代理与多应用协同操作的前沿探索中，SynthUX Economy R4数据集以其独特的“计算机使用”轨迹记录，为研究复杂经济模拟环境下的自主代理行为提供了关键基准。该数据集聚焦于模拟公司内多角色、跨应用的桌面操作场景，通过终端的低层级鼠标与键盘输入，记录从自然语言目标到完整操作序列的转化过程。近期，这一方向与“多智能体经济系统”及“合成数据驱动的GUI自动化”等热点事件紧密关联，推动了代理在真实软件生态（如浏览器、通讯工具、电子表格）中执行跨应用任务的鲁棒性与泛化能力研究。其意义在于，通过大规模、因果对齐的轨迹数据，为开发能够理解并操作复杂界面层次的智能体提供了可复现的评估平台，进而加速了工业级自动化与数字化劳动力研究的前进步伐。