jacob-valdez/synthux-economy-r3-w033

SynthUX计算机使用数据集是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每条记录代表一个员工在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用本地的多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟都作为独立的数据集存储库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，专注于经济模拟场景下的计算机使用轨迹。在每次模拟中，一个虚拟员工被分配一个自然语言目标，该目标被分解为节点树，终端节点通过低层次鼠标与键盘输入驱动真实的桌面模拟器应用，包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格与幻灯片等。整个执行过程不依赖工作台覆盖层，而是直接在应用原生环境中进行多应用协同操作。每一条轨迹均对应一个完整的会话，并通过屏幕录像与逐节点截图进行记录，最终以JSON格式存储，包含动作序列、输入事件、因果状态及媒体文件引用。

使用方法

该数据集由三个核心文件组成：data.jsonl记录轨迹的元数据、动作树与事件流；screenshots目录按轨迹分组存储每终端节点最后输入时刻的PNG帧；videos目录提供完整的会话屏幕录像（webm格式）。用户可直接加载JSON行文件提取轨迹ID、目标、角色与环境等字段，结合frames与video数据实现多模态输入。通过trajectory.alignment字段，可建立观察状态与输入事件到节点ID的映射，便于开发基于视觉的GUI智能体训练、模仿学习或轨迹评估任务。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r3）由SynthUX团队于近期创建，旨在为图形用户界面（GUI）代理研究提供高保真的计算机使用轨迹数据。该数据集聚焦于多应用协作场景，模拟企业内部多角色、多操作系统的真实工作环境，涵盖终端、浏览器、代码编辑器、办公套件等应用的低级鼠标与键盘交互。其核心研究问题在于如何通过结构化、因果化的屏幕轨迹数据，推动GUI代理在复杂多任务环境中的泛化能力与鲁棒性。作为首个基于大规模多公司经济模拟的合成轨迹数据集，SynthUX为多代理系统、人机交互与自动化测试等领域提供了新颖的基准资源，有望促进相关模型的评估与优化。

当前挑战

当前数据集面临多项挑战。在领域问题层面，GUI代理需处理异构操作系统（macOS、Windows、浏览器）与应用生态的差异，以及跨应用消息传递与多步任务中累积的决策误差，这对轨迹建模的准确性提出严峻考验。在构建过程中，SynthUX需模拟多公司经济系统的动态行为，确保每个员工的设备会话具备内容多样性，同时保持低级输入事件与高级目标之间的因果一致性；此外，从海量节点树中筛选终端节点并自动生成对齐的屏幕帧与事件序列，也面临流程复杂度高与资源消耗大的难题。

常用场景

经典使用场景

在计算机使用与图形用户界面（GUI）代理研究领域，SynthUX计算机使用数据集（economy sim r3）为多应用协同场景下的智能体行为建模提供了极具价值的基准资源。该数据集记录了模拟公司内部不同角色员工在真实桌面环境下的完整操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和演示文稿等多款应用程序。每个轨迹均以自然语言目标为驱动，通过低层级鼠标与键盘输入实现，并配有全屏视频及逐节点截图，使得研究人员能够细致分析智能体在复杂多步骤任务中的决策过程与交互模式。这一设计使得数据集尤其适用于训练和评估能够自主跨应用完成企业级工作流的GUI代理系统。

解决学术问题

该数据集有效回应了当前多应用GUI代理研究面临的两大核心挑战：一是缺乏真实模拟环境中多任务、多应用协同的精细标注轨迹；二是难以衡量代理在跨平台、多操作系统场景下的泛化能力。SynthUX通过构建包含六家模拟公司、三十六个完整轨迹的大规模微观经济环境，为学术社区提供了因果关联的观测数据，其中每个输入事件都与相应的节点和观察结果严格对齐。研究者得以利用这些数据探索智能体的目标分解策略、跨应用信息传递机制以及长期规划能力，进而推动从单一步骤模拟到端到端企业级自动化执行的研究跃迁，具有重要的方法论启示意义。

实际应用

在产业界，该数据集孵化的GUI代理技术能够直接应用于企业流程自动化、数字员工培训及多系统集成测试等场景。例如，利用该数据训练的智能体可以模拟新员工完成入职流程——包括跨邮件系统发送通知、在电子表格中录入数据、通过即时通讯工具协调团队、并在浏览器中提交审批表单。此外，基于该数据构建的代理可用于自动化测试跨平台应用的用户体验，或在远程办公环境中辅助完成重复性多步骤操作，显著提升工作效率。这种以真实桌面环境为蓝本的模拟数据，为构建下一代人机协同办公系统奠定了坚实的数据基础。

数据集最近研究

最新研究方向

在通用人工智能与自动化人机交互的交叉前沿，SynthUX数据集以其模拟多公司经济生态下多应用协同操作的视觉计算机使用轨迹为核心，引领了GUI代理在复杂真实世界场景中的泛化能力研究。该数据不仅记录了从自然语言目标到低层级鼠标键盘事件的完整映射，还融合了跨操作系统消息传递与多角色内容多样性，为研究多应用并行执行、因果状态追踪以及可迁移的决策路径提供了高保真实验平台。近期热点聚焦于利用此类合成轨迹训练基础模型，使其能够在无人工干预的情况下完成企业级办公自动化任务，这标志着从单一环境操作向大规模、多智能体经济模拟的范式跃迁，对推动下一代自主计算机使用代理的鲁棒性与安全性具有里程碑意义。