jacob-valdez/synthux-economy-r5-w009

SynthUX计算机使用数据集——经济模拟r5，是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每条记录代表一个员工在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实桌面模拟器应用程序（如Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用程序本地的多应用程序执行（无工作台覆盖），每个参与者的内容多样性，跨操作系统消息传递，以及大规模多公司经济模拟。每次经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5, is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，专注于模拟企业环境中多应用交互的计算机使用轨迹。每个数据记录对应一名工人在模拟公司内的设备会话，从自然语言目标出发，通过节点树展开，终端节点驱动真实的桌面模拟应用（如终端、笔记、代码编辑器、浏览器、通讯软件、表格处理等），并以低层级的鼠标与键盘输入执行操作。整个轨迹以屏幕视频及逐节点帧的形式被完整记录，确保了行为序列的因果性与可追溯性。

使用方法

数据集以JSONL格式存储，每条记录包含轨迹ID、角色信息、目标描述、节点树、输入事件及观测状态等字段。用户可通过加载data.jsonl文件访问结构化数据，结合screenshots目录下的逐节点PNG帧与videos目录中的全屏WebM视频，进行视觉与序列数据的联合分析。适用于训练或评估GUI智能体在复杂企业场景下的行为理解与模仿学习任务。

背景与挑战

背景概述

SynthUX Economy r5 数据集由 SynthUX 项目于近期创建，专注于模拟企业环境中多应用协作的计算机操作轨迹。该数据集由一支专注于合成数据生成与GUI代理研究的团队开发，核心研究问题在于如何通过合成数据驱动视觉导向的计算机使用场景，以克服真实数据采集的高昂成本与隐私限制。数据集构建了一个包含6家虚拟公司、36条完整操作轨迹的经济模拟环境，参与者通过自然语言目标驱动，在模拟的macOS、Windows及浏览器操作系统中执行跨应用任务（如终端、办公套件、通讯工具等），并记录低层级鼠标键盘事件与屏幕视频。SynthUX 数据集的提出为GUI代理研究提供了可复现、可控的测试基准，显著推动了多应用场景下计算机自动化决策与人类行为建模的发展。

当前挑战

该数据集所解决的领域挑战包括：1）多应用协同操作的可控建模，传统单应用数据集无法反映真实企业环境中跨软件（如邮件、编辑器、通讯工具）的复杂交互逻辑，而SynthUX通过原生应用执行（而非叠加层）实现了更接近实际的模拟。2）合成数据与真实操作一致性的保障，数据集确保所有观察结果均来源于低层级输入事件通道，避免高层API注入带来的偏差，但仍需应对模拟环境与真实系统间存在的行为差异。构建过程中面临的核心挑战在于：3）大规模经济模拟中角色多样性与操作一致性的平衡，需为不同角色（如员工、管理者）生成具有语义差异的目标树，并通过严格对齐输入事件与节点ID来维护轨迹的可解释性。

常用场景

经典使用场景

在经济模拟的多智能体工作流环境中，SynthUX Economy R5 W009数据集被广泛用于训练与评估基于图形用户界面的计算机智能体。该数据集记录了多名虚拟员工在仿真公司内部操作多种桌面应用（如终端、文本编辑器、浏览器、即时通讯工具、邮件与办公套件等）的完整轨迹，涵盖目标分解、低层级鼠标键盘操作与全屏屏幕视频。研究者利用这些轨迹对智能体进行行为克隆或强化学习训练，使其习得遵循自然语言指令完成复杂多应用任务的技能，例如跨应用信息检索、文档协作编辑与多步骤流程自动化执行。每一轨迹均附带精确的因果状态对齐信息，便于细粒度评估智能体在每一步决策中的准确性与效率。

解决学术问题

该数据集有效解决了计算机智能体研究中长期存在的数据稀缺性与环境封闭性问题，为多应用、多公司场景下的跨域任务执行研究提供了高保真度基准数据。在学术层面，它填补了缺乏大规模、真实操作级、多应用联动轨迹的空白，使研究者能够深入探索目标分解与层级规划机制、低层输入与高层意图的对齐建模，以及跨操作系统消息互操作对智能体鲁棒性的影响。通过提供因果一致的观察序列，该数据集支撑了隐式知识迁移、多智能体协作以及经济模拟中个体行为耦合效应等前沿难题的调研，推动了基于屏幕视觉的通用计算机智能体从模拟环境向真实办公场景的迁移能力提升。

实际应用

在实际产业应用中，该数据集所蕴含的多应用联动轨迹为自动化办公助手、企业级RPA工具和智能客服系统的开发注入了关键数据燃料。基于该数据训练的模型能够协助企业员工处理跨应用数据同步、日程协调、客户关系管理以及财务报表生成等常见但繁琐的任务。金融机构可利用其中经济模拟场景验证智能体在高频交易监控与合规审计中的表现，而科技公司则可将其用于内部IT运维工作流的自动化编排。此外，数据集所属的多公司架构允许企业针对各自组织角色（如财务专员、销售经理、开发工程师）定制智能体行为模板，从而在降低人力成本的同时提升跨部门协同效率。

数据集最近研究

最新研究方向

SynthUX Economy R5 W009数据集代表了多应用GUI代理仿真领域的前沿探索，其核心创新在于构建了跨组织、多角色协作的虚拟经济体环境。该数据通过SynthUX系统生成，记录了模拟公司中不同岗位员工在真实桌面应用（如终端、浏览器、协作工具）上的完整操作轨迹，包含36条细粒度交互序列和1188帧视觉快照。当前研究热点聚焦于如何利用此类多应用、多模态的因果观测数据，训练能够理解复杂工作流、跨平台执行任务的通用计算机使用代理。这一方向与业界对自动化办公、企业级AI助手的迫切需求紧密呼应，其意义在于推动GUI代理从单任务脚本执行向动态经济环境下的决策推理跃迁，为构建可适应真实企业网络与沟通协议的智能体系统提供了关键基准与训练资源。