jacob-valdez/synthux-economy-r3-w006

SynthUX计算机使用数据集—经济模拟r3是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括：data.jsonl（每个渲染轨迹的记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点的帧，在节点的最后一个输入事件时拍摄）和videos/<trajectory>.webm（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色、环境、目标、树节点、轨迹输入事件、观察、对齐和媒体引用。统计信息：轨迹36个，视频36个，帧952个，公司6个，环境分布为browser-os（14）、macos-web-next（12）、windows-web-next（10）。数据生成使用SynthUX（synthux.multicompany.day.v1），观察是因果的（突变通道为低级输入），捕获过程中未使用高级应用突变。SynthUX Computer-Use Dataset — economy sim r3 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include: data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node, taken at that nodes last input event), and videos/<trajectory>.webm (the full screen recording). Record schema covers trajectory_id, actor_id, company, role_id, title, env, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. Stats: trajectories: 36, videos: 36, frames: 952, companies: 6, by env: browser-os (14), macos-web-next (12), windows-web-next (10). Provenance: Generated with SynthUX (synthux.multicompany.day.v1); observations are causal (mutation channel = low_level_input), with no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

该数据集旨在为图形用户界面（GUI）自主代理研究提供高保真的视觉计算机使用轨迹。其构建方式独辟蹊径，通过SynthUX系统在模拟公司环境中生成每个工作者的设备会话。每个自然语言目标被分解为一棵节点树，终端节点通过低层级鼠标与键盘输入，驱动真实的桌面模拟应用程序（如终端、笔记、IDE、浏览器、即时通讯、邮件及办公套件等）。完整的操作轨迹被记录为屏幕视频及各节点对应的帧图像，避免了工作台叠加层的干扰，确保了多应用原生执行环境的纯粹性。

特点

该数据集的核心特色在于其经济模拟维度的引入，构建了包含多家公司的跨组织交互场景。每个记录不仅囊括了工作者角色、所属公司及职位等上下文信息，还覆盖了macOS、Windows及纯浏览器三种操作系统环境。密集的低层级事件序列与因果模拟状态记录相结合，使得每个时刻的界面状态与输入操作都能精准对齐。36条轨迹跨越6家公司，共产生952帧画面，为研究多应用、多环境下的GUI交互行为提供了丰富、可控且可复现的基准。

使用方法

使用该数据集时，研究人员可通过解析data.jsonl文件获取每条轨迹的完整结构化记录，包括目标、节点树、输入事件及状态观测。如需视觉信息，可引用screenshots目录下按轨迹和节点ID组织的PNG帧图像，或直接调用videos目录中的屏幕录像WebM文件。数据集设计巧妙地将因果模拟状态与低层级输入事件通过alignment字段进行关联，便于构建端到端的GUI代理模型，或对现有模型在跨应用、跨操作系统场景中的决策能力进行评估与训练。

背景与挑战

背景概述

SynthUX经济模拟数据集（synthux-economy-r3-w006）由SynthUX团队于近期创建，专注于生成基于计算机视觉的图形用户界面（GUI）代理轨迹。该数据集的核心研究问题在于模拟多应用协同工作环境下的计算机操作路径，以推动GUI代理在复杂企业场景中的自主决策能力。通过构建内含多个虚拟公司、跨操作系统（macOS、Windows及浏览器环境）的经济模拟系统，数据集记录了36条完整的操作轨迹，涵盖6家公司及952帧屏幕截图。其创新性在于摆脱传统工作台覆盖模式，采用原生多应用执行架构，为大规模多公司经济系统下的代理行为研究提供了标准化基准，对人工智能在办公自动化、企业流程模拟等领域具有重要影响力。

当前挑战

该数据集面临的挑战包括：1）领域层面，GUI代理需解决在动态多应用界面中从自然语言目标到低层级鼠标/键盘操作的精准映射问题，现有模型难以处理跨应用消息传递和上下文切换带来的状态不确定性；2）构建过程中，需确保模拟环境内不同公司角色（如员工、经理）的操作路径具备内容多样性，同时维护多操作系统间的输入事件因果一致性，避免因底层模拟器差异导致轨迹偏差。此外，传统数据集常采用的高层应用突变策略被舍弃，转而依赖全因果的低层输入事件链，这大幅增加了数据采集的复杂度和对齐难度。

常用场景

经典使用场景

SynthUX Computer-Use数据集专为多应用协同的图形用户界面代理研究而设计，其经典使用场景聚焦于模拟企业环境中员工通过桌面操作系统完成复杂经济任务的全过程。每个轨迹记录了一个工作者在虚拟公司内的设备会话，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格和演示文稿等多应用程序的联合操作。该数据集通过低层级的鼠标与键盘事件驱动，捕捉屏幕视频及节点级帧，为训练和评估能够跨应用自主执行长链任务的GUI代理提供了高保真的基准测试平台。

解决学术问题

该数据集有效解决了学术界在多应用、多步骤GUI任务中缺乏真实模拟轨迹的痛点。传统数据集往往局限于单一应用或简化操作，难以反映企业级场景下的跨平台、跨软件协作复杂性。SynthUX通过构建包含多公司、多角色的经济模拟环境，提供了因果关联的观察状态与密集输入事件，使研究者能够深入探索视觉感知、长程依赖规划及低层级控制等核心问题。其意义在于推动了从单任务代理到通用计算机使用能力的范式转变，为构建可迁移、可泛化的自主人机交互系统奠定了数据基础。

衍生相关工作

该数据集衍生了一系列关于交互式GUI智能体的前沿工作，包括基于视觉Transformer的屏幕理解模型，用于从录像帧中动态解析界面元素与操作语义。研究者还从中提取了因果强化学习框架，利用轨迹中的状态-动作关联训练代理在模拟经济环境中优化长周期决策。此外，跨应用事件对齐技术被发展为多模态对比学习方法，促进了从低层级输入到高层级目标的推理能力迁移。这些成果共同催生了面向企业级数字员工的通用架构，并引发了对AI代理在复杂软件生态中鲁棒性与可解释性的进一步探索。