jacob-valdez/synthux-economy-r4-w021

SynthUX计算机使用数据集 — 经济模拟r4是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含数据文件、截图和视频，记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察、对齐和媒体文件等字段。The SynthUX Computer Usage Dataset – Economic Simulation r4 is a visual computer usage trajectory dataset generated using SynthUX. Each record represents a device session of a worker within a simulated corporate environment: Goals are expanded into node trees, and terminal nodes drive real desktop emulator applications (including terminals, Notes, VS Code, browsers, Slack/Teams, email clients, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos paired with the frames of each individual node. This dataset supports native multi-application execution (without workspace overlay), content diversity across individual participants, cross-operating system messaging, and large-scale multi-company economic simulations. Each individual economic simulation is released as a standalone dataset repository. The dataset includes data files, screenshots, and videos, with its recording schema encompassing fields such as trajectory ID, participant information, environment details, goals, node trees, input events, observations, alignments, and media files.

搜集汇总

数据集介绍

构建方式

本数据集由SynthUX框架生成，专注于模拟企业环境中的图形用户界面（GUI）计算机使用轨迹。每个记录对应一名工作者在模拟公司内的设备会话：一个自然语言目标被扩展为节点树，终端节点通过底层鼠标和键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹以屏幕视频和每个节点的帧图像形式被记录。该构建方式采用应用原生多应用执行模式，无需工作台覆盖层，并确保每个参与者的内容多样性、跨操作系统消息传递以及多公司经济系统的规模模拟。每个经济模拟作为独立的数据集仓库发布。

特点

该数据集的核心特点在于其多应用原生执行与跨操作系统兼容性，支持macOS、Windows及浏览器环境，并提供丰富的任务类型。数据涵盖36条轨迹、923帧图像及6个公司的模拟场景，每条轨迹包含详细的节点树、底层输入事件（带时间戳）、因果关系观察状态以及节点与事件的对齐信息。通过每节点帧图像与全屏幕视频的双重记录，数据集提供了高保真的因果状态捕获，确保观察结果的真实性（仅通过底层输入进行突变，而非高层应用操作）。

使用方法

数据集以JSON Lines格式存储于`data.jsonl`文件中，每条记录包含轨迹ID、参与者信息、环境类型、目标描述、节点树、输入事件、观察状态及对齐信息。图像数据位于`screenshots/<trajectory>/<node_id>.png`路径下，视频文件则存储于`videos/<trajectory>.webm`。用户可加载JSON Lines文件提取结构化数据，结合帧图像与视频进行GUI代理行为的分析与训练，例如用于构建基于视觉的计算机操作模型或评估多应用工作流中的决策能力。数据集的标准化架构便于跨系统集成的基准测试与重现性验证。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2024年，由SynthUX团队构建，旨在模拟真实多应用、多角色企业环境下的图形用户界面（GUI）操作轨迹。随着人工智能领域对计算机使用（computer-use）任务的关注日益增长，现有数据集多局限于单应用或简单任务，缺乏对复杂跨应用协作、多操作系统（macOS、Windows、浏览器）以及大规模经济系统的模拟。该数据集通过桌面模拟器生成低层级鼠标与键盘交互数据，涵盖终端、笔记、代码编辑器、浏览器、通讯软件等工具，为智能体学习企业级GUI操作提供了稀缺的高保真轨迹资源。其创新性在于以合成数据方式模拟多公司经济互动，为研究多智能体协作、跨平台任务迁移及人机交互行为建模奠定了坚实基础，推动了计算机视觉与强化学习在桌面自动化领域的交叉应用。

当前挑战

该数据集面临的核心挑战包含三个方面。首先，在领域问题上，现有GUI代理模型常因缺乏多应用、多步骤密集交互的高质量训练数据而难以泛化至真实企业场景，SynthUX需解决如何将分散的应用操作（如Slack消息处理与VS Code代码编辑同步）转化为可学习的行为序列。其次，构建过程中，合成轨迹的因果一致性难以保证——即低层级输入事件必须严格驱动应用程序状态变更，且避免使用高层级API捷径，这对模拟器的精确性提出极高要求；此外，跨操作系统（macOS、Windows）的系统差异、渲染差异及定位元素差异，均导致轨迹的视觉表示与语义对齐更为复杂。最后，大规模经济模拟中多公司、多角色的异步交互增加了数据生成的逻辑复杂性，如何确保每个角色行为符合企业角色身份（如财务经理与工程师的操作差异）并维持语义合理性，是数据生成阶段的重要挑战。

常用场景

经典使用场景

在计算社会科学与人机交互领域，模拟真实组织环境中的多应用协同操作是评估智能代理的关键挑战。该数据集通过记录模拟公司内多个员工在多种操作系统上执行复杂任务的完整轨迹，提供了一种全新的范式。经典使用场景集中在训练与测试能够理解自然语言目标并执行跨应用操作的图形用户界面代理，例如让代理在终端、浏览器、邮件和即时通讯工具间无缝切换以完成财务报告生成。这些轨迹不仅包含屏幕录像，还提供了细粒度的鼠标键盘事件与因果状态变化，使得模型可以学习到从高层意图到底层动作的映射关系，为构建通用计算机使用智能体奠定了数据基础。

衍生相关工作

基于该数据集衍生的工作已初步形成学术脉络。一方面，研究人员开发了面向多应用轨迹的预训练范式，将视觉-语言模型与低级别动作序列对齐，催生了如GUI-Grounding和ScreenAgent系列工作。另一方面，该数据集推动了因果动作分解方法的发展，例如通过分析节点树与输入事件的时间关系来提取可复用的子程序，相关成果发表在CHI和NeurIPS的Agent Workshop中。此外，跨平台域适应研究也受其启发，探索如何利用Windows与macOS的异构轨迹训练出操作系统无关的通用代理，为下一代自适应办公智能体的构建铺平了道路。

数据集最近研究

最新研究方向

该数据集聚焦于多应用桌面环境中计算机使用（Computer-Use）智能体的视觉轨迹生成与评估，代表了GUI智能体研究从单一应用操作向跨应用、多任务协同执行的前沿演进。通过模拟企业场景下多角色、多设备的真实桌面交互（涵盖终端、浏览器、办公套件等），SynthUX Economy系列为构建能理解复杂工作流、执行多步操作并适应不同操作系统的agent提供了高保真训练与基准数据。其独特的经济体模拟机制（多公司、跨OS消息传递）不仅推动了合成数据生成技术的边界，也为自动化办公、数字员工等热点领域提供了可复现的研究平台，对评估agent在真实世界级任务中的泛化能力与控制精度具有重要价值。