jacob-valdez/synthux-economy-r3-w027

SynthUX计算机使用数据集——经济模拟r3：这是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展成节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r3: Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，旨在模拟多应用计算机使用轨迹。每条记录对应一名员工在模拟公司环境中的设备会话，具体构建流程为：将自然语言目标分解为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格处理等），并记录观测到的完整轨迹。模拟过程采用原生多应用执行模式（无工作台覆盖），确保每个参与者的内容多样性及跨操作系统的消息传递。本版本为经济模拟场景的第三次迭代，涵盖六家模拟公司，共生成36条轨迹，对应970个帧和同等数量的屏幕录像。

使用方法

数据集以HuggingFace仓库形式发布，主要文件包括data.jsonl（每条轨迹的元数据与结构信息）、screenshots目录（按轨迹与节点ID组织的PNG帧）以及videos目录（WebM格式的完整屏幕录制）。使用者可通过解析JSON文件中的轨迹ID、演员与公司属性、目标文本、节点树及输入事件字段重建交互过程。逐帧图像适用于视觉特征提取或GUI元素检测，而视频文件则支持端到端的序列建模。建议研究者结合节点对齐信息与低层事件数据训练GUI代理模型，或用于跨平台界面交互模式的归因分析。

背景与挑战

背景概述

随着图形用户界面（GUI）自动化与智能体技术的快速发展，如何构建能够理解并操作复杂多应用环境的计算机使用智能体成为研究热点。SynthUX Computer-Use（economy sim r3）数据集由SynthUX团队于2023年发布，旨在模拟企业级多应用协作场景下的计算机使用轨迹。该数据集通过合成方式生成36条包含完整屏幕视频与逐帧截图的轨迹，覆盖6家模拟公司中不同角色（如员工、经理）在macOS、Windows及浏览器环境下的真实操作，涉及终端、代码编辑器、浏览器、邮件、电子表格等原生应用。其核心创新在于放弃了传统工作台叠加的简化方式，采用应用原生级别的多程序执行与跨操作系统消息交互，为研究多应用协同、长序列决策与界面视觉理解提供了高保真的基准测试环境，对GUI智能体领域的研究具有重要推动意义。

当前挑战

该数据集所解决的领域核心挑战在于：现有计算机使用数据集多聚焦于单一应用或简单网页操作，缺乏模拟企业级真实工作流中多应用协同、跨平台切换与角色差异化行为的复杂场景。具体而言，智能体需同时处理终端命令、代码编辑、即时通讯与电子表格等任务，在应用间频繁切换并保持上下文一致，这对序列决策与视觉感知模型提出了极高要求。在构建过程中，SynthUX面临双重挑战：一是生成低成本、高覆盖度的合成轨迹，需确保每段轨迹包含从自然语言目标到低层级鼠标键盘事件的完整因果链，同时维持每个角色的内容多样性；二是在不依赖高层面应用API的情况下，通过纯低层级输入模拟应用状态变化，保证观察结果的因果真实性，避免数据泄露。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy R3 W027数据集为多应用协作场景下的自主计算机操作任务提供了丰饶的试验场。该数据集通过模拟真实企业环境，记录了涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件在内的多应用联动轨迹。每个数据样本源自模拟公司中某位员工的设备会话，其中高层目标被逐级分解为原子化的终端节点，并通过底层鼠标键盘操作驱动桌面模拟器，最终形成带有屏幕录像和逐帧截图的多模态序列。这一设计使得该数据集成为训练和评估GUI智能体在复杂多应用环境中执行长链任务（如跨平台数据迁移、复合工作流编排）的经典基准，尤其适用于研究智能体在真实桌面环境下从自然语言目标到具体GUI动作的全链路映射能力。

解决学术问题

该数据集直面跨应用、跨操作系统GUI智能体研究中的数据稀缺与生态单一问题。传统GUI数据集常局限于单一应用或固定操作序列，难以捕捉企业级多部门协作中存在的异构软件交互、跨平台消息传递及多线程任务交织等复杂现象。SynthUX Economy R3 W027通过构建涵盖六家模拟公司、三种操作系统环境（macOS/Windows/Browser）的多主体经济仿真体系，首次提供了带有因果关联观察的密集低层级操作日志。这有效解决了环境可迁移性评估、多智能体协作策略建模、以及操作序列与高层目标间对齐性分析等学术难题。其因果捕获机制（仅通过低层级输入通道记录观察）更开创了排除高层面应用变异干扰的训练范式，为构建鲁棒性更强的通用GUI基础模型奠定了方法论基础，推动了智能体从受限操控向自由形式桌面交互的跨越。

实际应用

在实际产业界，该数据集直接服务于下一代企业级智能助理系统的研发与落地。例如，财务部门可以通过自然语言指令自动完成跨系统数据查询（从企业资源计划系统导出报表）、多格式数据转换（使用电子表格软件清洗并可视化）、以及结果分发（通过邮件或即时通讯工具发送周报）的全流程自动化。软件开发团队可基于此数据集训练具备跨VS Code、终端与问题追踪系统能力的编程助手，实现从需求描述到代码提交的闭环操作。此外，客户支持场景中的智能体可利用该数据集习得在客户关系管理系统与知识库间的灵活切换，完成查询、记录与答复的连贯动作序列。这些应用场景的共性在于要求智能体精通多窗口上下文切换、异构软件间的数据流动以及中断恢复能力，而SynthUX数据集恰好提供了从理论基础到实测验证的完整支撑。

数据集最近研究

最新研究方向

SynthUX Economy R3 W027数据集聚焦于多应用复杂经济模拟环境下的GUI代理行为建模，通过生成涵盖6家虚拟公司、36条完整轨迹的桌面操作记录，为计算机使用智能体研究提供了兼具视觉与行为因果链的真实训练基准。该数据集突破了传统单应用限制，在跨操作系统（macOS/Windows/Browser）环境下联合操作终端、办公套件、即时通讯等多类软件，并采用节点树驱动的低层级输入记录机制，确保了行为序列的因果可追溯性。当前前沿方向正围绕该数据集探索GUI代理在动态经济系统中的规划能力泛化、跨应用上下文感知以及多智能体协作效率提升等课题，其多公司、多角色、多应用的生态化设计为评估AI代理在真实商业场景中的适应性提供了关键测试床，对推动自主桌面操作智能体的实用化演进具有标杆意义。