jacob-valdez/synthux-economy-r4-w055

SynthUX Computer-Use Dataset — economy sim r4是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内工人的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。数据集支持应用原生多应用执行（无工作台覆盖）、每演员内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4 consists of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源于SynthUX框架，旨在生成基于视觉的计算机使用轨迹，用于模拟经济体系中的多应用交互场景。其构建方式为：为每个模拟公司内的员工设定一项自然语言目标，该目标被展开为节点树结构；由终端节点驱动底层模拟器中的真实应用，包括终端、记事本、VS Code、浏览器、邮件及办公套件等，通过低层级的鼠标与键盘操作产生交互行为。整个轨迹过程以屏幕视频及逐节点截图的形式被完整记录。每条轨迹对应一个员工在模拟设备上的完整会话，从而在仿真经济环境中复现真实的桌面操作行为。

特点

该数据集的核心特色在于其应用的本地化执行与多应用协同架构，而非使用工作台覆盖层。每个经济模拟体均独立发布，支持跨操作系统消息交互与多公司经济生态的构建，极大丰富了内容的多样性。数据集中包含36条完整轨迹、1032帧图像及对应视频，覆盖macOS、Windows及浏览器三种模拟环境，且每条轨迹均包含密集的低层级输入事件、因果状态观测及节点对齐信息，为细粒度的GUI代理行为研究提供了高度逼真且结构化的数据基础。

使用方法

数据以JSONL格式存储于data.jsonl文件中，每条记录包含轨迹标识、角色信息、环境类型、自然语言目标及完整的节点树与事件序列。配套的screenshots目录下按轨迹及节点ID组织PNG帧图，videos目录提供全屏WebM录像。研究者可依据trajectory_id或env字段筛选特定轨迹，通过树状节点结构复现底层应用操作逻辑，结合对齐信息分析输入事件与屏幕画面间的因果关系。该数据集适用于训练与评估基于视觉的GUI代理模型，尤其聚焦于多应用协作环境下的任务规划与执行能力。

背景与挑战

背景概述

在人工智能与图形用户界面交互的研究领域中，构建能够理解并执行复杂桌面任务的自主智能体已成为核心课题。SynthUX Computer-Use (economy sim) 数据集应运而生，由SynthUX团队于近期创建，旨在模拟多公司经济体系下的真实计算机操作场景。该数据集的核心研究问题聚焦于如何让智能体在跨操作系统、多应用程序的环境中，通过低层级鼠标与键盘输入完成自然语言描述的目标。通过记录36条包含完整屏幕录像与逐帧图像的轨迹，涵盖6家公司与3种模拟环境，SynthUX为计算机使用智能体的训练与评估提供了高保真的多应用原生交互数据，对推动GUI智能体领域从单任务执行向复杂经济模拟场景的迁移具有里程碑式的影响力。

当前挑战

该数据集面临的核心挑战是模拟真实多应用生态中的因果闭环与行为多样性。在领域问题层面，需要克服跨应用（如终端、代码编辑器、浏览器、协作工具）的原生操作一致性，确保智能体在不同操作系统（macOS、Windows、浏览器OS）上具备泛化能力，同时保持节点树分解的粒度与低层级动作序列的对齐。在构建过程中，挑战在于生成无“工作台覆盖层”干扰的屏幕录像，并同步记录每个终端节点的精确时序帧与输入事件，以避免高层级应用变异破坏因果观察的纯净性。此外，多公司经济模拟中演员角色的差异性对数据集规模与内容多样性提出更高要求，确保每个轨迹的语义独特性与长期依赖关系的可追溯性成为关键难题。

常用场景

经典使用场景

在人工智能与自主智能体研究领域，SynthUX Economy模拟数据集为多应用环境下的图形用户界面（GUI）智能体行为分析提供了珍贵资源。该数据集捕捉了虚拟公司中员工在真实桌面模拟器上完成复杂目标的完整轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等多种办公应用的操作序列。研究者可据此探究智能体在跨应用、多步骤任务中的决策逻辑与交互模式，特别适用于训练和评估基于视觉输入的GUI自主代理，使其能够理解屏幕状态并执行精准的鼠标与键盘操作。

实际应用

该数据集在自动化办公与数字劳动力领域具有显著应用潜力。企业可基于其轨迹数据训练智能助手，实现跨邮件、即时通讯、文档编辑及浏览器等多应用的任务自动化执行，例如自动撰写会议纪要根据Slack聊天记录创建幻灯片、同步更新电子表格与邮件附件。此外，通过分析不同角色（如工程师、产品经理）在模拟经济体中完成目标的操作模式，可优化智能体的个性化服务能力，为知识工作场景中的流程精简与效率提升提供数据支撑。

衍生相关工作

SynthUX Economy数据集催生了多个方向的研究工作。在方法层面，衍生出基于因果观测状态的视觉-动作对齐模型，用于将屏幕视频帧与低层级输入事件精确关联。在评估体系方面，研究人员利用其多公司结构建立了跨角色任务完成率的基准测试，进一步开发了针对窗口布局变更与操作系统差异的自适应规划算法。此外，基于该数据集的多应用执行轨迹，有工作提出了事件级错误检测与回溯修正机制，显著提升了GUI代理在长序列任务中的鲁棒性。