jacob-valdez/synthux-economy-pilot-w000

SynthUX计算机使用数据集—经济模拟试点，由SynthUX生成的基于视觉的计算机使用轨迹。每个记录代表一个工作者在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer Usage Dataset—Economic Simulation Pilot, which consists of vision-based computer usage trajectories generated by SynthUX. Each record represents a device session of a worker within a simulated firm: a given task target is expanded into a node tree, where terminal nodes drive real desktop simulator applications (including terminals, Notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and per-node frames. This dataset supports native multi-application execution (without workspace overlay), content diversity per participant, cross-operating system messaging, and large-scale multi-firm economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，模拟了一家虚拟公司内多名员工在桌面设备上的图形界面操作轨迹。每条记录对应一次完整的工作会话：从一条自然语言目标出发，系统将其递归展开为一棵节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等），并记录完整的操作轨迹。每个终端节点均对应一帧截图，整个会话以屏幕视频形式保存。数据集采用多公司经济模拟模式，每次模拟独立发布为一个数据集仓库，确保了内容来源的多样性与结构的标准化。

特点

该数据集的核心特色在于其原生多应用协同执行机制，所有操作均在真实桌面模拟器环境中完成，无需借助工作台覆盖层，从而保留了原始交互的真实性。每条轨迹不仅包含密集的低级输入事件序列与时间戳，还提供了因果性的模拟器状态观测，并建立了观测与输入事件到节点ID的精确对齐关系。此外，数据集涵盖了跨操作系统的操作环境（macOS、Windows及浏览器模拟），并包含来自多个公司的用户角色数据，为研究不同组织背景下的用户行为提供了丰富的多样性。

使用方法

用户可通过加载`data.jsonl`文件获取每条轨迹的结构化元数据，包括目标描述、节点树、输入事件序列及对齐信息。对应的屏幕截图存放于`screenshots/<trajectory>/<node_id>.png`，完整屏幕录像则位于`videos/<trajectory>.webm`。研究人员可依据`trajectory.input_events`字段中的时间戳与动作类型重建操作序列，结合`trajectory.observations`中的状态变化进行因果分析。该数据集特别适用于训练和评估图形界面智能体，支持多应用协同任务理解、低级操作预测以及用户行为建模等研究方向。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于多应用图形用户界面（GUI）代理的合成轨迹生成。该数据集模拟了虚拟公司内员工的设备操作场景，通过将自然语言目标转化为可执行的节点树，驱动终端模拟器（如 Terminal、VS Code、Browser 等）完成底层鼠标与键盘交互，并记录完整的屏幕视频及逐帧截图。其核心研究问题在于探索跨操作系统、多应用协同的计算机使用轨迹的生成与对齐，为 GUI 代理的自主操作能力评估提供标准化基准。该数据集以多公司经济模拟为背景，发布了首批 24 条轨迹，覆盖四种操作系统环境，对推动人机交互与智能代理领域的研究具有重要参考价值。

当前挑战

该数据集面临的核心挑战包括：1）在领域层面，GUI 代理需应对真实世界中多应用间复杂的状态同步与长效目标分解问题，而现有单应用或稀疏轨迹数据难以覆盖跨应用的因果依赖关系，限制了代理在动态工作流中的泛化能力。2）在构建过程中，确保合成轨迹的因果一致性是主要挑战：观测数据需严格通过底层输入事件（而非高层应用接口）触发，避免状态突变；同时，生成不同操作系统、角色及公司环境的多样化轨迹存在巨大成本，从有限的 24 条样本中提取通用模式对后续扩展构成显著困难。

常用场景

经典使用场景

在人工智能与计算机交互领域，SynthUX Economy Pilot数据集为多应用场景下的图形用户界面智能体研究提供了宝贵的训练与评估资源。该数据集以模拟经济体系中的企业运作为背景，记录了多位虚拟员工在终端、浏览器、办公套件等多应用环境中的完整操作轨迹，包含屏幕视频及细粒度的鼠标键盘事件。研究者可借此训练能够跨应用、跨操作系统完成复杂任务的GUI智能体，例如在Slack中接收指令、在电子表格中更新数据，并通过邮件发送报告等。该数据集强调多应用原生执行与内容多样性，为构建具备环境感知与自主决策能力的智能体奠定了坚实基础。

实际应用

在实际应用层面，SynthUX经济试点数据集为自主办公助手、企业流程自动化及跨平台GUI测试等领域提供了强有力的支撑。基于该数据集训练的智能体能够模拟真实员工在复杂系统中的操作，可被部署为数字员工，自动完成数据录入、报表生成、跨应用信息同步等重复性工作。在软件测试领域，该数据集引导的模型可用于自动化UI回归测试，大幅提升测试覆盖率与效率。此外，通过分析轨迹中的交互模式，企业能够优化内部系统的用户界面设计，减少用户认知负担，提升工作效率。其多平台兼容性使得这一技术有望在远程协作、虚拟办公及企业数字化转型中发挥核心作用。

衍生相关工作

围绕SynthUX经济试点数据集，已衍生出多项富有影响力的相关工作。在方法上，研究者基于其轨迹结构开发了层级化任务分解与执行算法，探索了如何将自然语言目标映射为跨应用的低层级操作序列。在模型方面，该数据集被用于微调大规模多模态模型，使其具备屏幕内容理解与决策能力，推动了类似于Grounded GUI Agent的范式发展。此外，该数据集的因果观测设计激发了对智能体行为对齐与可解释性的研究，衍生出诸如基于反事实推理的轨迹分析、多智能体协作中的分布式任务调度等工作。这些衍生研究不仅深化了人机交互领域的理论认知，还促进了从单一界面到复杂经济生态系统的智能体应用拓展。