jacob-valdez/synthux-economy-r5-w047

SynthUX计算机使用数据集——经济模拟r5是一个基于SynthUX生成的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，模拟了多公司经济体系下的计算机使用场景。每个数据记录对应一名虚拟员工在仿真公司中的设备会话过程。具体构建流程为：将自然语言目标分解为层级节点树，终端节点通过底层鼠标/键盘输入驱动桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格、演示文稿等），完整记录观察到的操作轨迹。此外，每个经济模拟版本均作为独立数据集仓库发布。

使用方法

数据集以JSONL格式存储轨迹元数据，每条记录包含轨迹ID、执行环境、自然语言目标及完整节点树结构。用户可通过解析data.jsonl文件获取低层级输入事件序列（含时间戳）、因果模拟器状态及观察对齐信息。配套的screenshots目录提供每个终端节点的PNG截图，videos目录存放完整屏幕录制视频，便于研究者进行多模态计算机使用行为分析。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集由研究团队于2025年创建，旨在填补图形用户界面（GUI）代理研究中真实多应用交互数据的稀缺性。该数据集通过合成生成的方式，模拟了多公司经济体系下员工在桌面操作系统（macOS、Windows、浏览器）中完成自然语言目标的完整轨迹，覆盖终端、浏览器、办公套件等应用。其核心研究问题在于如何让智能体在复杂的多应用、跨平台环境中实现低层级视觉驱动的操作，从而推动自动化办公与数字助手领域的发展。数据集以开源形式发布，采用Apache-2.0许可，为GUI代理的泛化能力与鲁棒性评估提供了标准化基准，对相关领域的研究具有重要推动作用。

当前挑战

该数据集应对的核心挑战在于多应用、跨平台GUI代理的泛化困难：真实场景中智能体需协调异构应用界面与动态反馈，而现有方法常因固定环境限制而失效。构建过程中，SynthUX团队面临三大难题：一是模拟数百万公司内员工角色的目标多样性与行为随机性，以生成无偏轨迹；二是确保底层输入事件与高层语义节点间的因果一致性，避免模拟偏差；三是在有限计算资源下渲染高质量屏幕视频与帧图像，涵盖六家公司、三种操作系统共36条轨迹，同时维持数据规模与真实性的平衡。

常用场景

经典使用场景

在计算机视觉与智能体研究的交汇处，SynthUX Economy R5 W047数据集为多应用GUI智能体的研究提供了精细化的行为轨迹资源。该数据集的经典使用场景集中于模拟公司环境中，通过记录工作者在多个桌面应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件客户端和办公套件）间的自然交互过程，构建起从高层语义目标到低层鼠标键盘操作的完整映射。研究者可借助这些包含屏幕视频、逐节点帧图和密集事件序列的多模态数据，训练和评估能够理解复杂跨应用工作流的计算机使用智能体，尤其适合探索多任务规划、应用间上下文切换以及目标驱动的动作生成等核心课题。

解决学术问题

该数据集着力解决了计算机使用智能体研究中长期存在的两大瓶颈：一是缺乏包含真实多应用切换、跨平台操作的高质量标注轨迹数据，二是难以在受控环境中模拟并捕获组织级的协作行为。SynthUX Economy R5 W047通过引入多公司经济模拟框架，生成了涵盖六个虚拟公司、不同操作系统环境下的36条完整轨迹，有效填补了从单一应用到多应用、从单用户到多角色协作场景的数据空白。其研究意义在于为评估智能体在复杂工作流中的任务完成能力、跨应用交互准确性和因果推理水平提供了标准化基准，推动了GUI智能体从概念验证向实用化迈进的进程。

实际应用

在实际应用中，该数据集可用于开发企业级的数字员工助手，辅助员工在跨应用工作流中高效完成任务。例如基于数据集训练的模型能理解用户目标后自动在浏览器中查询信息、在邮件客户端编写回复、在文档中引用数据并同步在聊天工具中通知同事，从而显著提升办公效率。此外，数据集包含的不同操作系统环境（macOS、Windows和浏览器OS）使得其人机交互方案具备平台普适性，可被集成到智能工作台、自动化测试工具或无障碍辅助系统中，服务于金融、科技咨询等需要密集处理多任务信息的行业领域。

数据集最近研究

最新研究方向

该数据集聚焦于多应用协同的图形用户界面（GUI）智能体研究前沿，通过模拟真实企业环境下的跨平台桌面操作轨迹，为计算机视觉与自动化决策的交叉领域提供了宝贵的结构化语料。其核心创新在于记录原生多应用执行流程——涵盖终端、浏览器、办公套件等应用的底层鼠标键盘事件——而非依赖虚拟工作台覆盖。这一设计弥补了现有数据集在真实多任务、跨操作系统消息传递及角色化经济仿真方面的不足，与近期业界对自主GUI代理（如企业级智能助理）的爆发式需求高度契合。数据集通过合成经济仿真生成人均多样化的操作路径，为训练具备环境因果理解能力的鲁棒代理模型奠定了基石，推动了从单应用命令执行向复杂商业场景端到端自动化的演进。