jacob-valdez/synthux-economy-r4-w022

SynthUX计算机使用数据集—经济模拟r4，是基于SynthUX生成的接地视觉计算机使用轨迹。每个记录代表一个工作人员在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集具有应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟等特点。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer Usage Dataset—Economic Simulation r4 consists of grounded visual computer usage trajectories generated via SynthUX. Each record represents a device session of a staff member within a simulated company: a target is expanded into a node tree, where terminal nodes drive real desktop emulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Spreadsheets, Slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and frames for each node. The dataset features native cross-application execution (no workspace overlay), content diversity across individual participants, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R4-W022数据集基于SynthUX框架构建，旨在模拟企业环境中的计算机使用行为。每个数据记录代表一名员工在模拟公司内部的设备会话，其中自然语言目标被扩展为节点树，终端节点通过低层鼠标和键盘输入驱动真实桌面模拟器应用，涵盖终端、备忘录、VS Code、浏览器、即时通讯、邮件、电子表格和幻灯片等多种办公软件。会话轨迹以屏幕视频和每节点帧的形式记录，确保数据的高保真度和可追溯性。

特点

该数据集的核心特点在于其多应用本机执行环境，无工作台覆盖，确保操作的真实性和自然性。同时，每个参与者的内容具有多样性，支持跨操作系统消息交互，并模拟大规模多公司经济体系。本次发布包含36条轨迹、1041帧图像和6家公司的模拟数据，覆盖macOS、Windows和浏览器三种操作系统环境，为计算机使用轨迹分析提供了丰富的多模态素材。

使用方法

数据集以JSON和媒体文件形式提供，主文件data.jsonl包含每条轨迹的详细字段，如轨迹ID、参与者信息、环境类型、目标、节点树、输入事件和状态观察。屏幕截图和视频分别存储在screenshots和videos目录下，便于研究者进行视觉与行为的联合分析。用户可通过解析JSON记录中的trajectory.input_events和trajectory.observations字段重建操作过程，或利用media.frames进行帧级图像研究。

背景与挑战

背景概述

随着图形用户界面（GUI）智能体技术的快速发展，如何构建能够模拟真实人类在复杂多应用工作环境中进行计算机操作的数据集，已成为推动该领域进步的关键挑战。SynthUX Computer-Use数据集（economy sim r4）诞生于这一背景之下，由研究团队于近期通过SynthUX生成框架创建，专注于模拟企业经济系统中的多设备会话。该数据集通过记录模拟公司中每位员工在终端、代码编辑器、浏览器、通讯软件及办公套件等多应用间的操作轨迹，涵盖了从自然语言目标到底层鼠标键盘事件的完整映射。其核心研究问题在于探索如何生成可复现、跨平台的视觉化计算机操作行为，为GUI智能体的训练与评估提供高质量、结构化的真实场景数据。该数据集对计算机交互智能体领域具有潜在影响力，尤其在经济模拟、多任务协作及跨操作系统一致性等方向，为研究者提供了从虚拟环境到实际部署的桥梁。

当前挑战

该数据集所解决的领域问题集中于GUI智能体在真实多应用环境下的行为建模与评估挑战。传统数据集往往局限于单一应用或预定义的界面操作，而SynthUX面对的挑战在于如何表征跨应用程序、跨操作系统的复杂工作流，以及如何将高层语义目标（如‘起草报告并发送给团队’）转化为可追踪的低层交互序列。在构建过程中，主要挑战包括：确保每台虚拟设备上记录的操作轨迹在因果一致性上不依赖于高层应用变异，而是完全基于底层输入通道；维护跨六家模拟公司、36条轨迹的演员角色、公司身份与角色权限的多样性，避免数据偏差；生成涵盖macOS、Windows及浏览器环境的视频与帧级截图，需保证不同操作系统下鼠标键盘事件的精确对齐。此外，每张终端节点截图需精准捕捉最后输入事件时刻的界面状态，这要求对模拟器的时间同步与框架稳定性有极高鲁棒性，从而确保数据集在用于训练智能体时的可靠性与泛化能力。

常用场景

经典使用场景

SynthUX Economy R4 W022数据集专为多应用协同的图形界面智能体研究而设计，其核心使用场景在于模拟真实企业环境中工作者跨应用程序完成复杂任务的过程。数据集通过记录终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多种桌面应用的交互轨迹，为研究人员提供了丰富的多步骤、多模态人机交互样本。这些轨迹包含从自然语言目标到具体鼠标键盘操作的完整映射，使得该数据集成为训练和评估能够理解并执行跨应用工作流的GUI智能体的理想资源。

衍生相关工作

该数据集的发布催生了一系列创新性研究工作。基于其丰富的轨迹数据，研究者开发了首个能够进行多应用状态感知的GUI基础模型，该模型通过数据集中提供的对齐信息，实现了将低级输入事件与高级任务节点进行因果链接的能力。此外，数据集中包含的跨组织消息传递场景，催生了关于分布式GUI代理协同工作的研究，推动了面向企业协作环境的智能体通信协议设计。另有工作利用其多公司经济模拟设置，探索了代理在资源受限环境下的自适应行为学习，拓展了强化学习在真实GUI交互场景中的应用边界。

数据集最近研究

最新研究方向

SynthUX经济模拟数据集聚焦于计算机使用领域中多应用协同与多智能体经济的交叉研究。该数据集通过模拟公司内员工在桌面操作系统环境中的真实设备会话，记录跨终端、浏览器、办公套件等应用的复杂操作轨迹，为探索GUI智能体在动态商业生态中的决策能力提供了标准化基准。其前沿价值体现在两方面：一是推动从单一应用自动化向跨平台工作流整合的范式转变，二是利用合成经济环境检验智能体在资源分配、角色协作及组织效率上的涌现行为。这一资源将助力研究者构建更具鲁棒性的计算机使用智能体，并促进人机协同在数字经济中的实践落地。