jacob-valdez/synthux-economy-r2-w013

--- license: apache-2.0 task_categories: - other tags: - computer-use - gui-agents - synthetic - multi-application pretty_name: SynthUX Computer-Use (economy sim) --- # SynthUX Computer-Use Dataset — economy sim r2 Grounded visual computer-use trajectories generated by SynthUX. Each record is one worker's device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. ## Contents - `data.jsonl` — one record per rendered trajectory. - `screenshots/<trajectory>/<node_id>.png` — a frame per terminal node, taken at that node's last input event. - `videos/<trajectory>.webm` — the full screen recording. ## Record schema | field | meaning | |---|---| | `trajectory_id` | unique id (`<actor>__<env>`) | | `actor_id`, `company`, `role_id`, `title` | who, in which org | | `env` | simulator: `macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | natural-language goal for the session | | `tree.nodes` | the actor's terminal nodes (`surface`, `action`, `target`, `args`) | | `trajectory.input_events` | dense low-level mouse/keyboard/script events with `t_ms` | | `trajectory.observations` | causal simulator state after each node | | `trajectory.alignment` | links observations + input-event ranges to node ids | | `media.video` | screen recording (webm) | | `media.frames` | per-node PNG frames (node_id, t_ms, blob_ref) | ## Stats (this build) - trajectories: **36** - videos: 36 · frames: 904 - companies: 6 - by env: browser-os (15), macos-web-next (11), windows-web-next (10) ## Provenance Generated with SynthUX (synthux.multicompany.day.v1). Observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.SynthUX Computer-Use Dataset — economy sim r2 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，专注于模拟真实世界中的图形用户界面（GUI）代理行为。构建方式采用了多公司经济模拟范式，每个记录对应一名虚拟员工在模拟公司内的设备会话。一个自然语言目标被分解为节点树，终端节点通过低层级鼠标和键盘操作驱动桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。整个操作轨迹以屏幕视频和每个节点的帧图像形式被完整记录，确保了多应用原生执行与跨操作系统交互的真实性。数据生成基于因果观测原则，仅通过低层级输入变异渠道进行捕捉，未引入高层应用变异，从而保证了轨迹的纯净与可信度。

特点

该数据集的核心特点体现在其高度模拟真实多应用协作场景的能力。它涵盖了36条轨迹、904帧图像和6个模拟公司，分布在macOS、Windows和浏览器三种操作系统环境中。每条轨迹均包含密集的低层级键盘与鼠标事件、因果化的模拟器状态以及精确的节点对齐信息。特别值得一提的是，数据集实现了每角色内容的多样性、跨操作系统的消息传递以及大规模的多公司经济体系，使得GUI代理的研究能够从单一应用操作拓展至复杂的企业级交互场景，为开发更智能的计算机使用代理提供了坚实的数据基础。

使用方法

数据集以标准格式存储，便于研究者直接加载与使用。核心文件为data.jsonl，每条记录包含轨迹ID、角色信息、公司归属、操作系统环境、自然语言目标以及详细的节点树结构。辅助文件方面，screenshots目录下存放每个终端节点的PNG帧图像，videos目录则提供完整的屏幕录制视频（WebM格式）。研究人员可以通过解析JSON行文件获取低层级输入事件序列与因果状态，并结合视频和帧图像进行多模态分析。此外，轨迹的对齐字段链接了观测结果与输入事件范围，方便进行节点级别的细粒度行为研究与模型训练。

背景与挑战

背景概述

SynthUX-economy-r2-w013数据集由SynthUX团队于近期创建，旨在为计算机使用（computer-use）领域的GUI代理研究提供高保真的视觉化轨迹数据。该数据集聚焦于模拟公司场景中的多应用协作，通过合成生成的方式捕获工作者在真实桌面模拟器（如终端、浏览器、办公软件等）上的低层级鼠标与键盘交互行为，并辅以屏幕视频与逐节点帧。其核心研究问题在于如何生成具有内容多样性、跨操作系统消息传递与多公司经济动态的、无需覆盖层的原生多应用执行轨迹，从而为GUI代理的感知与规划能力评估提供可控且可重复的基准。该数据集对计算机使用研究领域具有重要影响力，尤其推动了面向复杂企业环境的自主代理系统的发展。

当前挑战

该数据集面临的核心挑战包括：第一，领域问题层面，GUI代理需在动态多应用环境中完成自然语言驱动的复杂目标，这要求代理具备跨应用上下文理解与低层级动作序列规划能力，而现有数据集多局限于单应用或静态界面，难以支撑真实场景的泛化评估；第二，构建过程中，SynthUX需在模拟经济体系中为不同角色生成多样化且行为一致的任务轨迹，同时确保每个终端节点的低层级输入事件与因果状态观察严格对齐，避免高层级应用突变污染数据，这对合成引擎的仿真精度与数据一致性提出了极高要求。

常用场景

经典使用场景

在人工智能与自主系统交叉的前沿领域，SynthUX经济模拟数据集为训练和评估图形用户界面智能体（GUI Agent）提供了高度仿真的多应用交互环境。该数据集记录了模拟公司内工作人员在真实桌面操作系统（如macOS、Windows）及浏览器中的完整设备操作轨迹，包含鼠标、键盘等底层输入事件序列以及对应截图与屏幕录像。研究者可借此驱动智能体学习跨应用协作流程，例如在Slack、邮件、表格与幻灯片之间完成复杂的公司事务处理，从而验证模型在动态多任务场景下的规划与执行能力。

实际应用

该数据集在自动化办公领域展现出巨大潜力——智能体可借助其轨迹数据学习如何像人类一样操作电脑：在报表更新场景中，它能够从邮件中提取数据，填入电子表格，生成图表，并插入幻灯片，最后通过协作工具通知团队成员。此外，在软件测试领域，该数据集可辅助生成自动化GUI测试用例，减少人工编写脚本的成本；在辅助技术领域，它能为视障用户开发智能操作助手提供训练基准，使系统通过底层输入指令完成复杂界面导航。这些应用场景显著降低了重复性数字劳动的人力消耗。

衍生相关工作

围绕该数据集已衍生出一系列经典研究工作：在表示学习方面，研究者开发了基于时间对齐的多模态编码器，将屏幕截图、文本描述与动作序列统一嵌入；在推理范式上，催生了结合因果推理与计划识别的层次化决策模型，该模型利用数据集中提供的节点树结构实现长程任务分解；在评测体系构建层面，学者提出了跨应用任务完成度指标，综合考量操作效率、错误恢复与目标达成率。此外，数据集的合成生成框架SynthUX本身也成为了可复用的工具箱，推动了后续更多领域（如医疗信息系统、游戏测试）中GUI智能体基准数据集的建设。