jacob-valdez/synthux-economy-r5-w014

SynthUX计算机使用数据集（经济模拟r5）是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司环境中的设备会话：目标被扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并记录观察轨迹为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX系统生成，模拟了一家经济型公司内多个员工的真实计算机操作场景。每个数据记录对应一名工作者在仿真环境中的一次设备会话：一个初始目标被展开为一棵节点树，终结点驱动桌面模拟器应用（如终端、笔记、VS Code、浏览器、即时通讯、邮件、电子表格等），通过低层级鼠标与键盘输入执行操作，完整轨迹以屏幕视频及逐节点帧图像形式记录。所有轨迹均基于因果捕获机制，仅通过低层级输入通道记录状态变化，未引入高层应用突变。

特点

SynthUX Economy r5 w014 数据集具备鲜明的多应用原生化执行特征，摒弃了传统的覆盖式工作台设计，确保各桌面应用独立运行。每个数据集对应一个独立的多公司经济模拟，涵盖6个虚构企业，包含36条轨迹、874帧图像及36段视频。数据按操作系统环境均衡分布，覆盖macOS、Windows及纯浏览器场景。每位参与者拥有独立的角色、职位与公司归属，确保跨组织消息交互与内容多样性，真实模拟了企业级协同工作环境。

使用方法

数据以标准格式组织，主文件 data.jsonl 每行对应一条轨迹的完整结构化记录，包含轨迹ID、参与者信息、操作目标、节点树、密集输入事件序列、因果叠加态及媒体引用。屏幕截图按轨迹与节点ID存储于 screenshots/ 目录下，全屏视频存放于 videos/ 目录。用户可直接读取JSONL文件提取轨迹元数据，结合对应图像与视频帧进行GUI代理系统的训练、评估与行为建模，支持多平台桌面环境的跨应用智能体研究。

背景与挑战

背景概述

SynthUX-Economy-R5-W014数据集由SynthUX团队于近期创建，专注于模拟多公司经济环境下的图形用户界面（GUI）代理行为。该数据集的核心研究问题在于探索计算机使用（computer-use）任务中，代理如何在模拟公司内部跨多个桌面应用程序（如终端、笔记、VS Code、浏览器、Slack、邮件、表格等）执行自然语言描述的目标，并通过低层级的鼠标、键盘操作生成可观测的轨迹数据。数据集包含来自6家模拟公司的36条轨迹、874帧图像及完整屏幕录像，覆盖macOS、Windows及浏览器三种操作系统环境，为GUI代理的自主交互研究提供了因果性、多应用、多实体的标准化基准。这一资源对推动自动化办公、软件测试及人机协同等领域具有重要影响，填补了多代理经济模拟场景下细粒度轨迹数据集的空白。

当前挑战

该数据集面临的核心挑战在于多应用、多平台环境下GUI代理行为的复杂性与可迁移性。首先，代理需在跨操作系统（macOS、Windows、浏览器）的异构桌面环境中精准执行目标，但不同系统的界面布局、交互范式及事件处理机制差异显著，导致模型难以泛化。其次，构建过程中需要确保轨迹数据的因果一致性——所有观察结果严格由低层输入事件驱动，避免高层应用状态直接突变，这对仿真环境的控制精度提出了极高要求。此外，经济模拟场景中的多公司、多角色（如不同职位员工）协作带来内容多样性挑战，需平衡轨迹的代表性与隐私脱敏。最后，该数据集仅包含36条轨迹，规模相对有限，可能不足以支撑大规模模型的训练，需在后续迭代中扩充样本并持续优化数据标注的语义对齐性。

常用场景

经典使用场景

SynthUX Economy R5 W014 数据集专为计算机使用场景下的图形用户界面（GUI）代理研究而设计，其经典使用场景是模拟多应用协同工作的企业环境。在该数据集中，每个记录代表一名虚拟员工在仿真公司设备上的完整操作轨迹，涵盖终端、笔记、编程环境、浏览器、即时通讯、邮件、电子表格和幻灯片等多种桌面应用程序。研究者可利用这些包含屏幕视频和逐节点帧数据的轨迹，训练和评估能够自主完成复杂跨应用任务的GUI代理模型。数据集提供了从自然语言目标到低层级鼠标键盘操作的完整映射，使代理学习如何将高层次的业务指令分解为具体的界面交互步骤。这种多应用、多角色的仿真场景为开发具有环境感知和任务规划能力的智能代理提供了坚实的训练基础。

实际应用

在实际应用中，SynthUX Economy R5 W014 数据集为企业级智能自动化系统的研发提供了关键支撑。基于该数据集训练的GUI代理可部署于实际业务场景，如自动化处理客户服务流程——代理能同时操作客户关系管理系统、邮件客户端和内部知识库，根据用户查询自动提取相关信息并生成回复。在财务和行政管理领域，代理可模拟员工完成跨部门的数据录入、审批流转和报表生成等重复性操作，显著提升工作效率并降低人为错误率。此外，该数据集还支持开发针对不同操作系统（如macOS、Windows和浏览器环境）的通用型自动化助手，使得企业无需为每个软件定制接口，即可实现跨平台的智能工作流编排。这些应用场景不仅节约了人力成本，还为实现更高级别的企业数字化运营奠定了基础。

衍生相关工作

基于SynthUX Economy R5 W014数据集，学术界与工业界已衍生出多项具有影响力的相关工作。在模型架构方面，研究者借鉴该数据集提供的多模态轨迹数据（屏幕视频、按键事件和因果状态），提出了能够融合视觉与序列信息的混合编码器-解码器模型，有效提升了代理对界面状态变化的感知能力。在训练范式上，一些工作探索了基于因果关系的学习方法，利用数据集中标注的节点对齐信息引导代理关注关键操作序列，从而减少冗余交互并提高任务完成效率。此外，该数据集还催生了关于多智能体协作的研究——研究者利用其中包含多公司、多角色的数据，构建了企业内员工代理之间的通信与协调机制，模拟了真实组织中信息传递和任务分配的复杂动态。这些衍生工作不仅验证了数据集的高质量与多样性，也为GUI代理领域开辟了新的研究方向。