jacob-valdez/synthux-economy-r4-w040

SynthUX Computer-Use Dataset — economy sim r4 是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每条记录代表一个工作者在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用原生的多应用执行（无工作台覆盖），每参与者内容多样性，跨操作系统消息传递，以及大规模多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源于SynthUX框架，旨在模拟真实企业环境中的图形用户界面（GUI）代理行为。构建方式基于多公司经济模拟：每个工作者在一家模拟公司内执行设备会话，其自然语言目标被分解为节点树，终端节点通过底层鼠标与键盘输入驱动桌面模拟器应用（如终端、笔记、VS Code、浏览器、邮件等）。整个操作轨迹通过屏幕视频与逐节点帧图像进行记录，形成完整的视觉化计算机使用数据集。每个经济模拟作为一个独立的数据集仓库发布。

使用方法

数据集以标准格式提供，便于研究者直接使用。核心文件为data.jsonl，每条记录对应一个渲染轨迹，包含轨迹ID、参与者信息、模拟环境、自然语言目标、节点树及完整的输入事件与观察序列。媒体资源分为screenshots目录下的逐节点PNG帧图像与videos目录下的全屏WebM录像，按轨迹与节点ID组织。研究者可通过加载JSONL文件解析轨迹结构，并结合图像与视频数据，用于训练GUI代理、评估其多应用协作能力或进行行为分析。

背景与挑战

背景概述

随着大型语言模型与图形用户界面（GUI）代理技术的深度融合，如何构建具备多应用协同操作能力的智能体已成为人机交互领域的前沿课题。SynthUX Computer-Use数据集由SynthUX团队于近期发布，旨在应对桌面环境下的多应用、跨平台GUI操作任务。该数据集模拟了真实企业场景中员工在终端、代码编辑器、浏览器、即时通讯及办公套件等多应用间的协作流程，通过合成生成的方式记录低层级的鼠标与键盘事件序列，并辅以完整的屏幕视频与逐帧截图，为计算机使用任务提供了细粒度的视觉-动作对齐基准。其核心研究问题聚焦于如何使智能体在复杂的多窗口、多操作系统环境中，基于自然语言目标自主完成跨应用的连续性操作。该数据集以多公司经济模拟为背景，构建了包含36条轨迹、6个虚拟企业的实验平台，对GUI智能体从单一应用操作向生态级场景迁移具有重要推动意义。

当前挑战

该数据集所解决的领域核心挑战在于GUI智能体在真实多应用环境中的泛化能力缺失。传统方法多局限于单应用或预设工作流，难以应对跨应用消息传递、多平台界面差异及动态内容变更等现实复杂性。SynthUX通过模拟多公司经济系统，迫使智能体在终端、Slack、VS Code、浏览器及电子表格等异构应用间协调操作，这对动作序列的语义规划与视觉反馈的理解构成了严峻考验。数据集构建过程中，研究者面临模拟环境保真度与数据多样性的平衡难题，需确保低层级输入事件与高层级任务目标间的因果一致性。此外，跨操作系统（macOS、Windows及浏览器OS）的界面渲染差异，要求构建统一的动作执行接口并规避软件授权与渲染开销，同时维持多公司角色内容生成的非重复性，这些技术瓶颈直接影响了合成数据的生态代表性。

常用场景

经典使用场景

在人工智能与图形用户界面（GUI）智能体研究的交叉领域中，SynthUX-Computer-Use（economy sim）数据集提供了一种极具生态效度的多应用协同操作基准。其核心场景聚焦于模拟企业环境中，由语言目标驱动、涵盖终端、笔记、代码编辑器、浏览器、即时通讯及办公套件等多应用联动的完整计算机操作轨迹。每个轨迹由低层级鼠标与键盘输入构成，并配有逐帧截图与全屏视频，为研究多步骤、跨应用的GUI自动化任务提供了细腻且因果可溯的观测数据，尤其适用于评估和训练能够模拟人类在复杂桌面环境中进行目标分解与工具调用的智能体系统。

解决学术问题

该数据集精准回应了当前GUI智能体研究面临的三大核心挑战：跨应用操作的断点问题、多公司经济架构下的角色约束建模，以及真实操作因果性的精确标注。传统数据集多局限于单一应用或静态截图，忽视了企业场景中信息流在多个软件之间的自然跃迁。SynthUX通过内置六家公司、三十六条轨迹的经济模拟，使得研究者得以探索智能体在异质角色身份下，如何依据目标生成节点树并执行低级操作。这一设计极大地促进了从开放式自然语言规划到鲁棒性GUI执行的端到端研究，并推动了对多智能体协作与对抗性约束环境的理论理解。

实际应用

在实际应用层面，该数据集为企业级自动化流程挖掘和员工数字行为分析提供了高度保真的训练素材。基于其覆盖macOS、Windows及浏览器三大操作环境的轨迹，开发者可以训练能够自主完成财务报表填写、跨平台消息同步、代码部署发布等典型办公任务的智能助手。此外，由于每条轨迹均包含完整的输入事件流与界面状态变迁，该数据还可服务于业务流程合规性验证、用户界面可用性测评以及数字员工培训模拟器的构建，在推动低代码自动化平台与AI原生操作系统的融合方面具有直接的产业价值。

数据集最近研究

最新研究方向

SynthUX Economy R4 W040数据集聚焦于多应用协同的图形用户界面代理研究，通过模拟企业环境中的多角色、跨操作系统的工作流，生成高保真的视觉计算机使用轨迹。该数据集的前沿方向在于探索基于大语言模型的GUI代理在复杂多步骤任务中的泛化能力，尤其是跨应用操作（如终端、浏览器、办公套件）的因果推理与错误恢复。与近期AI代理自主执行企业流程的热点事件相呼应，该数据集为评估代理在模拟经济体系中的协作效率、行为多样性及低层级输入对齐提供了关键基准，其多公司、多角色设定推动了从单任务脚本向动态多智能体交互系统的范式转型。