jacob-valdez/synthux-economy-r5-w062

SynthUX计算机使用数据集（经济模拟r5）是一个基于SynthUX生成的视觉计算机使用轨迹数据集，用于模拟公司环境中的工人设备会话。每个记录代表一个会话，其中目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（如Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察轨迹以屏幕视频和每节点帧的形式记录。数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每演员内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包含data.jsonl（每个渲染轨迹的记录）、screenshots文件夹（每个终端节点的帧图像）和videos文件夹（完整屏幕录制视频）。记录模式包括轨迹ID、演员ID、公司、角色、标题、环境（如macos-web-next、windows-web-next、browser-os）、自然语言目标、节点树、输入事件、观察状态、对齐信息以及媒体引用。本构建包含36个轨迹、834帧、6个公司，环境分布为browser-os（10个）、macos-web-next（8个）、windows-web-next（18个）。数据生成使用SynthUX（synthux.multicompany.day.v1），观察基于因果模拟（突变通道为低级输入），捕获过程中未使用高级应用程序突变。The SynthUX Computer Usage Dataset (Economic Simulation r5) is a visual computer usage trajectory dataset generated via SynthUX, designed to simulate worker device sessions within corporate environments. Each record represents a session, where the target is expanded into a node tree, and terminal nodes drive real desktop applications (including Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) via low-level mouse and keyboard inputs. Interaction trajectories are recorded in the form of screen videos and per-node frame images. This dataset supports native multi-application execution without workspace overlay, per-actor content diversity, cross-operating system message passing, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset contents include data.jsonl (records for each rendered trajectory), the screenshots folder (frame images for each terminal node), and the videos folder (full-screen recorded videos). The record schema includes trajectory ID, actor ID, company, role, title, environment (e.g., macos-web-next, windows-web-next, browser-os), natural language target, node tree, input events, observation status, alignment information, and media references. This specific build contains 36 trajectories, 834 frames, and 6 companies, with an environment distribution of browser-os (10), macos-web-next (8), and windows-web-next (18). The data was generated using SynthUX (synthux.multicompany.day.v1), with observations based on causal simulation (with the mutation channel being low-level inputs), and no high-level application mutations were utilized during the capture process.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，旨在模拟企业环境中多应用并行的桌面操作轨迹。其构建方式独特：首先为每位虚拟员工设定一个自然语言描述的工作目标，该目标被自动展开为一棵行为节点树，每个叶子节点代表一个具体的终端操作（如输入文本、点击按钮等）。这些操作通过低级的鼠标和键盘指令在真实的桌面模拟应用（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格处理等）中执行，并全程录制为屏幕视频及每节点的关键帧图像，从而生成完整的、因果一致的交互序列。

使用方法

使用时，用户可通过读取`data.jsonl`文件获取每条轨迹的元数据、目标、节点树及完整事件日志，其中的`trajectory.input_events`字段提供了按时间戳排列的密集低层次操作序列。对应的视觉数据可通过`screenshots`目录下的每节点PNG图像和`videos`目录下的屏幕录像（WebM格式）获取。建议研究者在分析模型对GUI任务的理解与执行能力时，结合帧序列与事件日志进行端到端的行为建模与评估。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r5）数据集由SynthUX于近期创建，旨在模拟多公司经济体系下的图形用户界面（GUI）代理行为。该数据集的核心研究问题在于如何通过合成数据生成复杂的企业级计算机使用轨迹，以支持跨应用、跨操作系统的GUI代理训练与评估。其影响力体现在为多应用协同工作场景提供了高保真的视觉轨迹，涵盖终端、浏览器、办公套件等应用程序，推动了从单任务到多任务、从单应用到多应用GUI代理的研究范式转变。该数据集基于模拟公司内员工的真实设备会话构建，每个轨迹对应一个自然语言目标，并转化为节点树，最终通过低层级鼠标/键盘操作录制为屏幕视频与逐帧截图。

当前挑战

该数据集主要面临以下挑战：第一，领域问题层面，GUI代理需应对多应用、多操作系统环境下的复杂任务调度与跨应用数据同步，例如在不同软件间切换并维持上下文一致性；第二，构建过程中，模拟多公司经济体系需保证内容多样性，避免轨迹同质化，同时确保低层级输入事件（如鼠标点击与键盘输入）与高层语义目标之间的严格对齐；第三，数据采集需记录因果性的环境状态，即仅通过低层级输入变更状态，排除了高层面应用接口的干扰，这增加了生成真实且可复现轨迹的难度；第四，有限轨迹量（36条）与不平衡的操作系统分布（如macOS与Windows比例差异）限制了模型的泛化能力。

常用场景

经典使用场景

在计算行为分析与图形用户界面智能体研究的前沿，SynthUX Computer-Use数据集（economy sim r5）为模拟多公司经济体系下的视觉计算机使用轨迹提供了宝贵资源。该数据集的经典使用场景聚焦于训练和评估GUI智能体在复杂、多应用环境中的任务执行能力，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等桌面模拟应用的联动操作。研究者可借助其包含的完整屏幕录像、逐节点帧图及密集低级输入事件记录，深入探索智能体如何将自然语言目标解构为精细的鼠标键盘动作序列，并实现跨应用、跨操作系统的协同工作流，从而推动人机交互与自动化领域的技术演进。

解决学术问题

该数据集系统性地解决了学术研究中长期存在的两个关键难题：其一，缺乏具备真实企业级复杂度与多应用互操作性的可重复实验基准；其二，难以在高保真模拟环境中同时捕获因果状态与低级输入事件的对齐关系。通过模拟包含六家公司的经济生态，每个轨迹都记录了从高层目标到终端节点的完整推导过程，并同步提供因果观察与输入事件的精确映射，为研究人员分析智能体的决策机制、故障模式及输入层面的归因提供了前所未有的细粒度数据。这一贡献显著推动了GUI理解与任务规划领域从孤立应用向多应用、多角色联合场景的范式转型。

实际应用

在实际应用层面，该数据集直接服务于企业级软件自动化助手、多模态办公助理及跨平台测试框架的研发。例如，开发者可以基于其轨迹数据训练能够自主执行客户订单处理、跨部门信息同步或多系统数据录入的智能体，从而显著降低人力重复操作的成本与差错率。此外，数据集内包含的跨操作系统（macOS、Windows、浏览器）录屏内容，对于构建兼容异构环境的通用GUI自动化工具具有重要参考价值，尤其适用于金融、供应链等需要高度安全与可靠交互的行业场景。

数据集最近研究

最新研究方向

围绕图形用户界面智能代理的合成数据生成与多应用协同仿真，该数据集聚焦模拟公司场景下跨操作系统、多应用（如终端、笔记、浏览器、邮件、办公套件等）的计算机操作轨迹，通过细粒度鼠标/键盘事件与屏幕视频记录，支持从自然语言目标到底层动作的端到端研究。其前沿方向在于构建大规模、多角色的企业级经济仿真环境，推动GUI Agent在复杂工作流中的泛化能力与隐私安全对齐，同时为多公司协作、跨平台交互等热点事件提供了基准测试平台，对于发展自主桌面代理和评估人机协作效率具有显著意义。