jacob-valdez/synthux-economy-r5-w027

SynthUX计算机使用数据集是一个基于模拟经济环境的视觉计算机使用轨迹数据集。它通过SynthUX生成，模拟了公司内员工的设备会话：每个目标扩展为一个节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟都作为一个独立的数据集仓库发布。The SynthUX Computer-Use Dataset is a collection of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W027数据集基于模拟经济环境生成，每个记录对应一名工作者在模拟公司内的设备会话。系统将自然语言目标展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、通讯软件、邮件、表格处理等），完整记录观察到的操作轨迹，并以屏幕视频及各节点帧的形式保存。每条轨迹包含目标、节点树、输入事件序列及因果模拟状态，确保数据的高保真度与可复现性。

使用方法

数据集以JSONL格式存储，每条记录包含轨迹ID、参与者信息、模拟环境、目标文本、节点树及完整输入事件序列。配套提供每节点PNG帧图像与全屏WebM视频，便于视觉与行为分析。研究者可加载data.jsonl解析轨迹结构，利用屏幕帧训练视觉语言模型，或通过输入事件序列复现用户操作，适用于GUI代理的模仿学习、任务规划及跨应用推理等研究方向。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，旨在模拟多应用协同的桌面计算环境，以研究 GUI 智能体在真实工作场景中的行为轨迹。该数据集聚焦于企业级经济模拟，通过合成手段生成包含终端、浏览器、办公套件等多应用交互的视觉轨迹，每个记录对应一个虚拟员工在模拟公司中的设备会话。核心研究问题在于如何构建高保真的多任务、跨平台 GUI 操作数据集，以推动智能体在复杂人机界面中的自主决策能力。其影响力在于提供了首个融合多公司经济模型的视觉计算机使用轨迹数据集，为 GUI 智能体研究提供了可复现、可扩展的基准平台。

当前挑战

该数据集面临的挑战包括：领域问题层面，需解决 GUI 智能体在真实多应用、跨操作系统环境中的低层级操作（如鼠标点击、键盘输入）与高层目标（如完成公司任务）之间的语义对齐难题，以及如何从稀疏的终端节点中推理完整的操作意图。构建过程层面，主要挑战在于合成轨迹的因果一致性——需确保每个节点状态严格由低层级输入驱动，避免使用高级应用接口注入状态；同时，跨 6 个公司、3 种模拟环境的 36 条轨迹中，需维护多角色内容的多样性与公司间通信的真实性，防止生成数据出现模式化或逻辑冲突。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX Economy R5 W027数据集为多应用协同操作的计算机使用行为建模提供了宝贵的基准资源。该数据集精心构建了36条由模拟公司员工在虚拟桌面环境下执行真实任务的轨迹，每条轨迹均包含从自然语言目标到低层鼠标键盘事件的全链路记录。研究者可借助这些结构化数据，训练能够理解复杂多步骤操作并跨应用（如终端、浏览器、邮件、即时通讯等）完成任务的GUI智能体，从而推动从单一应用操作向企业级多应用协作场景的跨越。

解决学术问题

该数据集系统性地解决了模拟多用户、多公司组织架构下计算机使用行为数据稀缺的学术困境。传统GUI数据集往往局限于单用户单应用场景，忽略了组织层级、跨应用协作以及多用户并发操作带来的复杂性。SynthUX通过引入包含6家公司、不同角色与职务的多智能体经济模拟环境，使得研究者能够探索角色语义与操作意图之间的关联，分析跨应用信息流动模式，并研究多公司生态下任务分解与执行效率的优化策略。这一工作填补了从仿真环境中获取大规模、因果型多应用GUI轨迹数据的方法论空白。

实际应用

在实际落地层面，该数据集能够有效赋能企业级自动化办公助手、智能客服系统和软件测试工程。基于其中丰富的跨应用操作实例，开发者可以训练能够在真实桌面环境中按需启动不同软件、完成数据迁移、生成报告并跨平台通讯的虚拟员工助手。企业可采用此类智能体优化重复性业务流程，如客户信息录入、财务报表整理与跨团队协作沟通。此外，该数据集还为软件质量保障提供了理想测试场景，通过重现用户操作流程来检测应用兼容性与交互鲁棒性。

数据集最近研究

最新研究方向

SynthUX-economy-r5-w027数据集聚焦于多应用协同的计算机使用模拟，通过合成轨迹生成技术，为GUI智能体研究提供了高保真、原生环境下的行为数据。该数据集模拟了多公司经济体系中的真实设备会话，涵盖终端、笔记、代码编辑器、浏览器、通讯软件及办公套件等跨应用操作，每个轨迹均包含完整的低层级鼠标键盘事件与屏幕录像。这一前沿方向紧密关联AI Agent自主操作计算机的热点，其细粒度的输入事件记录与多角色内容多样性，为训练和评估GUI智能体在复杂企业场景中的任务执行能力提供了关键基准，推动了从单一应用到多应用协同、从模拟环境到真实系统适配的研究演进，对实现通用计算机智能体具有深远意义。