jacob-valdez/synthux-economy-r3-w010

由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内工人的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每次经济模拟作为独立的数据集仓库发布。A vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a simulated worker within a company: a target expands into a node tree, where terminal nodes drive real desktop applications (such as terminals, Notes, VS Code, browsers, Slack/Teams, email clients, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The observed usage trajectories are recorded as screen videos paired with the frame data of each node. This dataset supports native multi-application execution (without workbench overlays), per-participant content diversity, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use 数据集经由 SynthUX 框架生成，专注于模拟企业环境中的图形界面（GUI）操作轨迹。每条记录对应一名员工在虚拟公司内的设备会话，其工作目标被自动分解为节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等），完整观测轨迹以屏幕视频及节点帧形式保存。构建过程采用多公司经济模拟范式，支持跨操作系统消息通信与多应用原生执行，每个经济模拟作为独立数据集仓库发布，确保了场景的生态多样性与组织规模扩展性。

特点

该数据集具备三大显著特性：其一，轨迹完全基于真实桌面模拟器原生执行，而非工作台覆盖层，保证了行为的底层真实性；其二，每个参与者拥有独享内容，结合跨操作系统消息传递与多公司经济模型，实现了内容分布的高度多样化；其三，数据集包含36条轨迹、892帧截图及6家虚拟公司的配置，覆盖macOS、Windows与浏览器三种环境，为多平台GUI代理研究提供了丰富的结构化数据，观测过程采用因果低层输入通道，避免了高层应用操作的篡改性。

使用方法

数据集以标准JSONL格式提供核心记录，每条包含工作者身份、公司角色、目标描述、节点树、密集的底层输入事件及其时间戳、因果模拟器状态以及观测与事件的节点对齐信息。辅助媒介包括每节点截图与完整屏幕录像，便于多模态分析。用户可直接通过HuggingFace数据集库加载data.jsonl文件，利用trajectory.input_events与observations字段复现或验证轨迹行为，也可依据alignment字段将低层事件映射至高层动作节点，适用于训练计算机视觉Agent、GUI操作规划与跨应用任务理解等下游场景。

背景与挑战

背景概述

图形用户界面（GUI）智能体的研究，作为连接大语言模型与真实数字世界的关键桥梁，近年来受到了广泛关注。在此背景下，SynthUX数据集应运而生，由相关研究团队于特定时间创建，旨在解决多应用协同场景下GUI智能体训练数据稀缺的问题。该数据集通过模拟企业内部多角色、多应用的复杂经济环境，生成了包含36条完整操作轨迹的高质量合成数据，覆盖macOS、Windows及浏览器等操作系统。其突破性在于提供了应用原生（而非工作台覆盖层）的执行环境、跨操作系统消息传递以及大规模多公司经济模拟，为训练能够执行跨应用复杂任务的GUI智能体奠定了坚实基础，对推动人机交互与智能自动化领域的研究具有重要影响力。

当前挑战

数据集面临的核心领域挑战在于，现有的GUI智能体大多在单一应用或简单任务上表现良好，难以胜任涉及多个商业软件（如终端、代码编辑器、浏览器、邮件客户端等）协同工作的复杂经济模拟场景。SynthUX必须确保生成的合成轨迹在视觉与交互逻辑上高度逼真，以弥合模拟环境与现实桌面环境间的差距。构建过程中的重大挑战则体现在：如何为不同角色生成多样化且语义连贯的任务目标，如何精确记录低层级鼠标/键盘事件与对应屏幕帧的因果关系，以及如何在不引入高层应用变异的前提下，维持数据生成的因果一致性，从而保证每条轨迹均可作为可靠的训练样本。

常用场景

经典使用场景

SynthUX Economy R3 W010数据集专为多应用GUI代理的视觉计算机使用轨迹研究而设计，其核心使用场景在于模拟企业环境中多个员工在真实桌面应用（如终端、代码编辑器、浏览器、邮件客户端和即时通讯工具）间的自然交互过程。研究者可借助该数据集训练和评估能够理解长序列屏幕截图与低级鼠标键盘事件、并执行跨应用复杂任务（如协作编辑、数据分析与信息检索）的智能GUI代理模型。数据集提供的完整屏幕录像与逐节点帧，支持模型在细粒度视觉理解、多步推理和动态环境适应能力上的系统性评测。

实际应用

在实际应用中，SynthUX Economy R3 W010数据集成为了开发企业级智能办公助手的基石。它可用于训练能代理员工完成日常繁琐操作的自动化工具，例如自动整理邮件与日程、跨平台传递消息、在代码编辑器与终端间协同修改程序、或根据会议记录自动生成演示文稿。这类代理有望显著降低企业沟通与数据处理的成本，提升团队协作效率，并赋能无障碍数字交互。此外，数据集所涵盖的多个操作系统环境还支持在跨平台自动化测试、用户界面设计与用户体验优化等领域进行落地实践。

衍生相关工作

该数据集衍生了多项重要的学术工作，主要包括基于视觉观察的GUI代理训练范式、多应用工作流的模仿学习方法、以及因果推断在交互行为建模中的应用。具体研究成果包括：利用逐节点帧序列构建的屏幕-动作映射模型、通过多公司经济情境增强代理社会认知能力的交互策略、以及将低级事件序列对齐到高级任务节点的解析算法。这些工作不仅丰富了对计算机使用过程中意图表征与行为规划的理解，也为构建能够参与真实企业运营的数字劳动力提供了关键的理论支撑和技术原型。