jacob-valdez/synthux-economy-r3-w025

SynthUX计算机使用数据集（经济模拟r3）是一个合成数据集，包含基于视觉的计算机使用轨迹，由SynthUX生成。每个记录代表模拟公司内一个员工的设备会话：目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl文件（每个渲染轨迹一条记录）、screenshots文件夹（每个终端节点的帧，在节点最后输入事件时捕获）和videos文件夹（完整屏幕录制）。记录模式包括轨迹ID、参与者信息、环境、自然语言目标、节点树、输入事件、观察结果、对齐信息和媒体引用。本构建包含36个轨迹、972帧、6个公司，环境分布为browser-os（21）、macos-web-next（10）和windows-web-next（5）。数据由SynthUX生成，观察结果是因果的（突变通道为低级别输入），捕获过程中未使用高级应用突变。The SynthUX Computer-Use Dataset — economy sim r3 is a synthetic dataset containing grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution without a workbench overlay, per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include data.jsonl (one record per rendered trajectory), screenshots folder (a frame per terminal node taken at that nodes last input event), and videos folder (the full screen recording). The record schema includes fields like trajectory_id, actor information, environment, natural-language goal, tree nodes, input events, observations, alignment, and media references. This build contains 36 trajectories, 972 frames, 6 companies, with environment distribution: browser-os (21), macos-web-next (10), windows-web-next (5). The data is generated with SynthUX, observations are causal (mutation channel = low_level_input), and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX Economy r3 w025 数据集源自一款名为 SynthUX 的视觉计算机使用轨迹生成框架，专注于模拟企业内部多应用协作场景。构建过程中，每个员工（actor）的计算机操作目标被转化为一棵节点树，其中叶子节点对应真实的桌面模拟器应用——包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格与演示文稿等。通过驱动低层级的鼠标与键盘事件，系统完整捕获并记录了每次会话的屏幕视频及逐节点帧图像。模拟环境涵盖 macOS、Windows 及浏览器三种桌面操作系统，支持跨平台消息通信与多公司联合经济活动，以此生成具有高度多样化角色与组织结构的计算机操作轨迹。

使用方法

数据以 JSONL 格式存储，每条记录对应一条完整轨迹，包含唯一标识符、角色信息、环境类型、自然语言目标、节点结构化动作树、密集的输入事件序列以及因果观察状态。媒体文件以 screenshots 目录下的逐节点 PNG 帧和 videos 目录下的 WebM 录像形式组织，便于可视化与离线分析。用户可通过解析 trajectory.input_events 字段获取细粒度鼠标键盘操作，结合 trajectory.alignment 实现节点与事件的时空映射，适用于训练与评估基于视觉的 GUI 代理模型。数据遵循 Apache 2.0 许可，可直接加载用于下游任务。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r3）由研究者采用SynthUX框架生成，旨在模拟多应用协同的桌面计算环境，以支持图形用户界面（GUI）代理的研究。该数据集发布于2024年，核心研究问题聚焦于如何利用合成轨迹数据，使智能体能够在复杂的多应用场景中执行任务。数据集通过模拟员工设备会话构筑虚拟公司经济体系，涵盖终端、浏览器、办公软件等应用操作，记录低层级鼠标与键盘事件及屏幕录像。其独特之处在于无需工作台叠加，实现应用原生多步骤执行，突破了传统单应用GUI数据集的局限，为计算机使用自动化研究提供了新型基准，推动了人机交互与多代理系统领域的进步。

当前挑战

该数据集所解决的领域问题在于，现有GUI代理数据集多局限于单一应用或简化任务，难以应对真实世界中跨应用、多窗口的复杂操作栈。SynthUX通过构建包含经济模拟的多公司交互环境，使智能体需统筹信息检索、通信与文档编辑等任务，挑战了模型对长时序行为与动态反馈的适应能力。构建过程中面临的主要挑战包括：如何确保不同角色与公司间的操作语义一致性，以及如何高效生成多样化的任务目标以避免轨迹模式同质化。此外，低层级输入事件与高层级任务目标的对应性问题，即从稠密事件流中精准推导语义动作节点，亦对数据标注与捕捉机制提出了严峻考验。

常用场景

经典使用场景

在图形用户界面（GUI）智能体的研究领域中，SynthUX Economy模拟数据集为多应用、多任务的计算机使用场景提供了宝贵的仿真轨迹资源。该数据集通过模拟企业环境中不同角色的员工在终端、浏览器、邮件、办公套件等多个应用之间的真实操作流程，记录了完整的屏幕视频和逐帧状态快照。研究者可利用这些数据训练或评估能够理解和执行复杂多步骤任务的GUI代理模型，尤其是在需要跨应用协作、多任务切换和低级别鼠标键盘交互的仿真环境中，该数据集成为验证智能体在真实世界计算机操作能力的重要基准。

解决学术问题

该数据集精准地回应了当前GUI智能体研究中的痛点：缺乏大规模、细粒度、多应用协同的仿真轨迹数据。以往的工作多依赖于单一应用或有限的操作记录，难以支撑对智能体在复杂工作流中的泛化能力和因果推理能力的深入研究。SynthUX Economy数据集通过引入多公司、多角色的经济模拟背景，提供了基于低级输入事件的因果状态观察，使得研究者能够探究智能体在真实企业级任务中的规划、执行和自适应能力，进而推动了从简单指令遵循到复杂任务拆解与执行这一关键科学问题的理论突破。

实际应用

在工业界和商业应用中，该数据集所模拟的场景直接映射到企业自动化办公、数字员工培训和智能助手开发等实际需求。通过利用该数据集训练的GUI代理模型，可以协助员工自动完成跨系统的数据录入、报表生成、邮件回复等重复性工作，显著提升工作效率。此外，该数据集还可用于开发面向终端用户的智能辅助系统，能够理解用户的自然语言目标并在多应用环境中自主执行操作，为人机协作提供无缝的自动化支持，推动办公自动化和企业数字化转型的实践落地。

数据集最近研究

最新研究方向

SynthUX-economy-r3-w025数据集代表了面向多应用协同操作的GUI智能体前沿模拟生态，聚焦于合成桌面交互轨迹的规模化生成与细粒度行为捕捉。该领域近期研究热点集中在利用多公司经济仿真环境驱动的基础模型训练，探索终端节点驱动的低层鼠标/键盘事件与自然语言目标对齐机制，以解决跨应用、跨操作系统（macOS/Windows/Browser）的复杂人机交互理解难题。在具身智能体需在模拟企业中完成诸如邮件、文档、网页等多任务协作的背景下，此数据集通过每轨迹972帧级屏幕录制与逐节点语义映射，为端到端的可泛化计算机使用行为学习提供了因果对齐的优质训练资源，对推动可信赖的多任务GUI自动化具有里程碑意义。