jacob-valdez/synthux-economy-r5-w053

SynthUX计算机使用数据集 — 经济模拟r5是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每条记录代表一个工作者在模拟公司环境中的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer Usage Dataset — Economic Simulation r5 is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker in a simulated corporate environment: targets are expanded into node trees, and terminal nodes drive real desktop simulator applications (such as terminals, notes, VS Code, browsers, Slack/Teams, emails, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and frames for each node. This dataset supports native multi-application execution (without workspace overlay), content diversity for each participant, cross-operating system messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX框架生成的拟真计算机使用轨迹，模拟了多公司经济体系中的员工日常操作场景。每条记录对应一名工作者在虚拟公司内的完整设备会话，由自然语言目标逐步展开为节点树，终端节点通过底层鼠标与键盘事件驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格与幻灯片等）执行操作，同时将观察到的轨迹以屏幕视频及逐节点截图的形式记录，确保了行为数据的生态效度与精细粒度。

使用方法

使用本数据集时，可直接从data.jsonl文件中读取每条轨迹的结构化记录，包括目标、角色信息、节点树以及输入事件序列。屏幕截图以per-node格式存放于screenshots目录下，便于逐帧分析界面状态变化；完整视频则存储于videos目录中，支持对操作流进行宏观观察。数据的因果生成机制（仅通过底层输入通道突变）保证了观察结果的纯净性，适合用于GUI智能体行为建模、多应用交互分析及人机协作系统的基准测试等研究任务。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于生成高度逼真的视觉化计算机使用轨迹，旨在模拟多应用协同的企业办公环境。该数据集的核心研究问题围绕如何通过合成数据驱动图形用户界面（GUI）代理的进化，特别是在跨操作系统、多公司经济模拟背景下实现低层级鼠标与键盘操作的精准捕捉与复现。相较于传统单一应用或简化操作的数据集，SynthUX 通过引入角色、公司、应用生态等复杂要素，显著提升了数据集的生态效度与应用广度，为后续基于视觉的 GUI 代理研究提供了坚实的数据基础与标准化基准。

当前挑战

该数据集面临的主要挑战包括：1) 所解决的领域问题——现有 GUI 代理数据集多局限于孤立应用或静态截图，缺乏对多应用协同、跨平台消息传递及动态经济系统的模拟，难以支撑真实企业环境下的智能代理训练；SynthUX 通过构建完整的公司模拟体系与多层级操作树，填补了这一空白。2) 构建过程中的挑战——生成过程中需维护低层级输入事件与高层级目标因果一致性，避免应用状态突变干扰轨迹真实性；同时，跨操作系统（macOS、Windows、浏览器）的大规模多公司并行模拟对计算资源与数据存储提出极高要求，数据采集的复杂性随公司数量与角色多样性呈指数级增长。

常用场景

经典使用场景

在人工智能与计算系统交叉领域，SynthUX经济模拟数据集为多应用GUI代理研究提供了基准测试平台。该数据集记录了模拟经济体中数十名工作者在真实桌面环境下的完整操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、通讯软件、邮件及电子表格等跨应用交互。研究者可基于36条高质量轨迹及同步屏幕视频，系统性地探究AI代理在复杂多步骤任务中的视觉理解与指令执行能力，尤其适用于评估模型在未经过滤的低级输入事件序列中推断用户意图的鲁棒性。

解决学术问题

该数据集直面当前GUI代理研究中的两个核心瓶颈：一是缺乏包含跨应用协作与经济动机的多代理真实交互数据，二是现有数据集多依赖模拟工作台而脱离原生操作系统环境。通过提供因果关系的低层级输入观测数据和跨操作系统消息传递记录，SynthUX经济模拟数据集使学术界能够实证研究多公司经济体中的任务分解、多模态对齐及长尾动作序列建模问题。其独到的实验设计显著推动了知识迁移，为开发能够理解自然语言目标并自主完成跨软件工作流的人工智能系统奠定了数据基础。

实际应用

在实际产业场景中，此数据集为金融、企业资源规划（ERP）及远程办公系统等复杂数字生态系统的自动化提供了关键训练素材。例如，基于其中工作者管理多账户财务数据、跨平台协作编辑文档或执行审批流程的轨迹数据，可训练AI助手实现自动发票处理、跨部门任务协调与合规审计。其内置的多公司经济模拟特性更使得自动化系统能够学习在不同组织架构下适应差异化操作规范，从而降低企业数字化转型中的人力培训成本与操作失误风险。

数据集最近研究

最新研究方向

该数据集聚焦于合成多应用GUI代理轨迹的前沿研究，通过模拟企业内部跨操作系统、多应用程序（如终端、代码编辑器、浏览器、通讯工具等）的真实桌面操作场景，为计算机使用智能体的行为建模提供高保真训练与评估资源。其核心创新在于采用双层节点树驱动低层级鼠标键盘输入，结合全屏视频与逐帧截图，实现端到端可对齐的因果观察轨迹。这一方向直接回应了当前GUI代理研究从单应用、沙盒环境向多应用协同、企业级复杂工作流迁移的热点需求，为构建能够理解与执行跨平台业务场景的通用数字助理奠定了数据基础。