jacob-valdez/synthux-economy-r3-w018

SynthUX Computer-Use Dataset — economy sim r3 是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工人在模拟公司中的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r3 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use数据集（economy sim r3）由SynthUX系统生成，模拟多公司经济环境中的计算机操作轨迹。每条记录对应一名员工在虚拟公司内的设备会话场景：一个自然语言目标被分解为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（如终端、记事本、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），完整轨迹以屏幕视频及每节点帧的形式记录。构建采用原生多应用执行模式，无工作台叠加层，确保操作的自然性与真实性。

使用方法

数据集以标准格式提供，包含data.jsonl文件（每条渲染轨迹一条记录）、screenshots目录（每终端节点一张PNG帧，取自该节点最后输入事件）及videos目录（全屏录制WebM视频）。用户可通过轨迹ID、执行者ID、公司、角色等字段索引数据。对于GUI代理训练，可直接利用轨迹中的输入事件序列与观察状态；对于视觉理解任务，可利用节点帧与视频。数据集采用Apache-2.0许可证，适用于计算机使用、GUI代理及多应用协同等研究方向。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，聚焦于图形用户界面（GUI）代理的视觉化计算机使用轨迹生成。该数据集通过模拟多公司经济环境，记录虚拟员工在桌面模拟器（如终端、VS Code、浏览器等）上的自然交互过程，旨在为自动化界面操作研究提供细粒度、多应用的接地数据。其核心研究问题在于探索如何从低层级鼠标/键盘事件和屏幕视频中建模复杂的多应用协作行为，对提升 GUI 代理在动态商业场景中的泛化能力具有重要推动力。作为首个基于多角色、跨操作系统经济模拟的计算机使用数据集，它填补了现有数据集在真实办公任务多样性和因果闭环轨迹方面的空白，为智能助手与机器人流程自动化领域提供了新的基准资源。

当前挑战

该数据集面临的挑战首先体现在领域问题的复杂性上：传统 GUI 代理主要处理单一应用内的简单操作，而 SynthUX 需解决多应用协同执行、跨平台通信（如 macOS、Windows、浏览器）以及动态经济系统中角色与目标变化的适应性问题，这要求模型能理解高层商业意图并分解为原子界面动作。在构建过程中，数据生成面临两大难点：一是如何确保模拟环境中不同公司、角色的行为多样性以避免过拟合，二是因果轨迹的精确记录——需同时捕获低层级输入事件与对应的屏幕状态变化，且要排除高层应用突变干扰，保持数据一致性。此外，视频与帧的存储格式（如 36 条轨迹含 855 帧）对大规模扩展时的数据管理效率也构成了技术挑战。

常用场景

经典使用场景

SynthUX Economy R3 W018数据集的核心价值在于其为计算机使用代理（GUI Agent）研究提供了一套高度仿真的多应用协同操作轨迹。该数据集通过模拟一个虚拟公司内不同角色员工（如不同职位、公司成员）在MacOS、Windows及浏览器环境下的日常办公场景，记录了从自然语言目标（如“整理财务报表”）到具体鼠标键盘操作的完整流程。每个轨迹均包含密集的低级输入事件、屏幕录像和各节点的帧截图，使得研究者能够深入训练或评估模型在复杂多窗口、跨应用任务中的规划与执行能力，例如在终端、VS Code、邮件、表格、即时通讯等多个应用程序之间无缝切换与操作。

解决学术问题

该数据集精准回应了当前计算机视觉与智能体研究中的一个核心挑战：如何在缺乏自然、多步骤、多应用交互数据的情况下，训练出能理解并执行复杂桌面任务的GUI代理。传统数据集往往局限于单一应用或简单界面操作，而SynthUX填补了这一空白，它提供了带有因果状态信息（观察结果与输入事件链）的轨迹，使得研究可有效探索程序合成、规划学习、跨应用状态追踪及长程任务记忆等关键问题。此外，数据集中的多公司、跨角色多样性，有助于研究模型的泛化能力，避免过拟合于特定软件布局或任务流程，推动了更具通用性的数字助手研究。

实际应用

在实际产业层面，SynthUX Economy R3 W018数据集为自动化和智能工作流引擎的研发提供了坚实的训练基础。例如，企业可利用此类数据训练内部的虚拟员工助理，使其能够自动执行诸如数据录入、跨平台信息检索、报告生成等重复性办公任务。该数据集模拟的复杂经济系统场景，特别适用于金融、运营及客服等需要多系统协同处理的高效流程自动化场景。通过从屏幕录像中学习隐含的UI逻辑和用户习惯，开发出的代理不仅能提升操作效率，还能减少人为错误，最终实现从简单脚本驱动到真正理解业务目标的智能自动化飞跃。

数据集最近研究

最新研究方向

在图形用户界面（GUI）智能体领域，SynthUX Economy R3数据集代表了多应用协同、跨平台桌面操作轨迹合成的前沿进展。该数据集通过模拟多公司经济体系，生成了涵盖终端、浏览器、办公套件等应用的密集底层输入事件与屏幕录像，为研究基于视觉的计算机使用智能体提供了因果对齐的高保真轨迹。其核心价值在于突破了单任务、单应用的局限，聚焦于多角色、跨组织协作场景下的复杂GUI操作建模，为开发能够理解企业级工作流的自主智能体奠定了数据基础。这一方向与当前AI领域对可执行数字任务的代理系统（如GUI Agents）的迫切需求高度契合，推动了从静态指令遵循到动态环境交互的研究范式转变。