jacob-valdez/synthux-economy-r5-w045

SynthUX计算机使用数据集（经济模拟r5）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括：data.jsonl（每个渲染轨迹一个记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点在最后输入事件时捕获的帧）、videos/<trajectory>.webm（完整屏幕录制）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐和媒体引用。统计数据：本版本包含36个轨迹、36个视频、904个帧、6个公司，环境分布为browser-os（4）、macos-web-next（19）、windows-web-next（13）。数据来源为SynthUX生成，观察基于因果模拟（突变通道为低级别输入），捕获过程中未使用高级别应用突变。The SynthUX Computer-Use Dataset (economy sim r5) is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include: data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node taken at that nodes last input event), videos/<trajectory>.webm (the full screen recording). Record schema covers trajectory_id, actor details, environment, goal, tree nodes, input events, observations, alignment, and media references. Statistics for this build: 36 trajectories, 36 videos, 904 frames, 6 companies, with environment distribution as browser-os (4), macos-web-next (19), windows-web-next (13). Provenance: generated with SynthUX, observations are causal (mutation channel is low_level input), and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W045 数据集通过模拟公司内部员工的多应用计算机操作流程构建而成。每条记录对应一位工作者在虚拟企业环境中的设备会话，从自然语言目标出发，系统将其展开为节点树，终端节点驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、表格处理软件等），并通过底层鼠标和键盘输入执行操作。整个操作轨迹以屏幕视频和逐节点帧的形式被捕获。每个经济模拟场景作为一个独立的数据集仓库发布，本数据集为其中第五轮构建版本。

使用方法

数据集以 JSON Lines 格式提供主数据文件 data.jsonl，每条记录包含轨迹标识、参与者信息、目标描述、节点树结构及完整的输入事件序列。配套资源按轨迹组织为 screenshots 文件夹（存放逐节点 PNG 帧）和 videos 文件夹（存放全屏 WEBM 视频）。用户可直接解析 JSON Lines 提取轨迹特征与事件序列，也可结合视频帧进行多模态建模，适用于 GUI 代理训练、计算机操作行为分析及多应用交互研究。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 研究团队于近期创建，旨在模拟多应用、多用户的企业级计算机使用场景。其核心研究问题在于生成基于视觉的、细粒度的计算机操作轨迹，以支持 GUI 代理在真实桌面环境中的推理与决策。该数据集通过模拟一个包含多个公司、角色和跨操作系统通信的经济体，产生了 36 条轨迹、904 帧图像及对应的屏幕录像，为计算机使用行为的建模提供了高度结构化的资源。其在人工智能领域的影响力体现在为训练和评估自主 GUI 代理提供了可复现、多模态的基准，推动了从简单任务到复杂多应用协作的进展。

当前挑战

该数据集面临的挑战首先在于解决领域核心问题：GUI 代理需从低层级鼠标键盘事件中理解复杂的多应用交互（如终端、VS Code、Slack 等），并处理跨公司经济模拟中的动态目标分解与异步通信。构建过程中，SynthUX 需确保生成轨迹的因果一致性，即观测状态完全由低层输入驱动，避免高层应用突变干预，同时维持每节点帧与完整视频的高保真对应。此外，不同操作系统（macOS、Windows、浏览器）的差异、多角色（CEO、工程师等）的个性化行为以及 6 个公司间的经济互操作，均增加了数据生成与对齐的复杂性，要求精准记录每段轨迹的元数据（如时间戳、环境标识）以支持训练与评估。

常用场景

经典使用场景

在计算机视觉与智能体系统的交叉领域，SynthUX-economy-r5-w045数据集为多应用协同操作的图形用户界面智能体研究提供了高保真的训练与评估平台。该数据集通过模拟企业环境中不同角色的日常工作流程，生成了涵盖终端、记事本、代码编辑器、浏览器、即时通讯、邮件及办公套件等多类桌面应用的细粒度操作轨迹。每个轨迹不仅包含完整的屏幕视频记录，还对应了每个终端节点的逐帧截图，使得研究者能够以多模态形式观察智能体从自然语言目标到低层级鼠标键盘操作的完整推理链条。经典使用场景聚焦于训练能够跨应用执行复杂业务逻辑的计算机使用代理，例如在多个办公软件间协调数据流转、生成报告或管理项目。数据集在环境多样性上覆盖了macOS和Windows两大桌面系统以及纯浏览器环境，为构建跨平台自适应界面智能体提供了坚实基础。

解决学术问题

该数据集直面当前图形用户界面智能体研究中真实标注数据匮乏的困境，尤其针对多应用协同场景下的数据稀缺问题提供了系统性解决方案。学术界长期受困于单一应用环境下的操作数据收集成本高昂，且跨应用任务由于涉及窗口切换、数据迁移和上下文保留等复杂交互行为，难以通过人工标注或简单合成方式获得高质量轨迹。SynthUX-economy-r5-w045通过引入大规模多公司经济模拟框架，自动生成了带有精确时间戳、因果对齐信息和层级目标分解结构的交互数据，有效解决了细粒度操作序列的标注难题。该数据集的重要意义在于首次在可控模拟环境中实现了多角色、多组织、多操作系统环境下的端到端计算机使用行为数据生产，为探索智能体的泛化能力、迁移学习以及多任务推理等学术前沿问题提供了标准化基准。其因果观测设计更是推动了从行为模仿到因果理解的研究范式转变。

实际应用

在实际产业应用中，该数据集直接服务于企业级自动化办公系统的开发与迭代。基于这些模拟轨迹，可以训练具备跨应用操作能力的数字员工，使之能够自动完成诸如从邮件中提取订单信息并在ERP系统中创建记录、将会议纪要转化为项目管理卡片并分派任务、或在多个数据源间同步客户信息等典型企业流程。金融、咨询、制造等行业的数字化转型需求尤为迫切，此类智能体能够显著降低重复性桌面操作的工时消耗。数据集所模拟的多公司经济环境贴合真实商业世界的组织架构，使得训练出的智能体天然具备理解公司层级、角色权限和业务语境的潜力。在客户服务场景中，结合即时通讯和邮件应用的操作数据可构建自动响应客户查询并执行后台操作的全链路助手。此外，该系统支持在不同操作系统环境下运行，为软件即服务产品的跨平台兼容性测试和用户界面自动化测试提供了逼真的模拟数据源。

数据集最近研究

最新研究方向

该数据集聚焦于合成环境下多应用协同的计算机使用轨迹生成，通过模拟真实职场中跨操作系统（macOS、Windows、浏览器）的桌面操作行为，为GUI智能体研究提供了高保真、多模态的基准数据。当前前沿方向集中于利用此类多公司经济模拟数据训练具备泛化能力的计算机使用智能体，尤其关注基于自然语言目标分解的节点树执行框架与低层级输入事件对齐技术。关联热点事件包括人工智能代理在自动化办公、流程模拟与多应用交互中的突破性应用，SynthUX数据集通过构建可复现的合成经济生态，显著推动了端到端桌面行为理解与因果推理的研究进展，为未来自主工作流系统奠定了数据与评估基础。