jacob-valdez/synthux-economy-r4-w018

SynthUX计算机使用数据集（经济模拟r4）是一个基于模拟环境的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工作人员在模拟公司设备会话中的行为：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹以屏幕视频和每个节点的帧形式记录。数据集特点包括应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包含data.jsonl文件（每个渲染轨迹一个记录）、screenshots文件夹（每个终端节点的帧，在节点的最后一个输入事件时拍摄）和videos文件夹（完整屏幕录制视频）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、自然语言目标、节点树、密集低级别输入事件、因果模拟器状态观察、对齐信息以及媒体文件（视频和帧）。统计信息显示本构建包含36个轨迹、843帧、6个公司，环境分布为browser-os（9个）、macos-web-next（9个）和windows-web-next（18个）。数据集使用SynthUX生成，观察是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer-Use Dataset — economy sim r4 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. Key features include app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include `data.jsonl` (one record per rendered trajectory), `screenshots/` (a frame per terminal node, taken at that nodes last input event), and `videos/` (the full screen recording). The record schema covers fields like trajectory_id, actor_id, company, role_id, title, env (simulator type), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media files (video and frames). Statistics for this build show 36 trajectories, 843 frames, 6 companies, with environment distribution: browser-os (9), macos-web-next (9), windows-web-next (18). Provenance indicates generation with SynthUX, where observations are causal (mutation channel = low_level_input) and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use数据集（economy sim r4）通过模拟多公司经济活动的视觉计算机使用轨迹构建而成。每个记录代表一个模拟公司内某位员工的设备会话：自然语言目标被展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、即时通讯工具、表格与幻灯片等），同步记录完整的屏幕视频及各节点帧。每个经济模拟场景独立发布为数据集仓库，确保数据组织清晰。

使用方法

数据集提供data.jsonl文件存储每条轨迹的结构化记录，包含轨迹ID、角色身份、目标、节点树及密集的低层级输入事件序列。截图按轨迹与节点ID组织于screenshots目录，全屏录像则存放于videos目录。用户可依据alignment字段将输入事件与观察结果映射至对应节点，便于细粒度分析计算机操作行为，适用于GUI代理训练与多应用交互研究。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于生成基于屏幕视觉的计算机使用轨迹，服务于图形用户界面（GUI）智能体研究。该数据集通过模拟多公司经济环境，记录工作者在模拟公司中的设备会话，将自然语言目标分解为节点树，并通过底层鼠标/键盘操作驱动真实桌面应用（如终端、浏览器、办公软件等），最终输出完整屏幕视频与逐节点帧。其核心研究问题在于如何构建多样化、多应用交互的合成轨迹数据，以支撑 GUI 智能体的训练与评估。数据集的特点在于原生多应用执行（无工作台覆盖）、参与者内容多样性、跨操作系统消息传递以及大规模多公司经济模拟，为计算机视觉与智能体领域的交叉研究提供了重要资源。

当前挑战

该数据集面临的挑战首先在于所解决的领域问题：GUI 智能体需在真实桌面环境中处理跨应用、跨操作系统的复杂任务，而现有数据集往往局限于单应用或预定义工作流，缺乏多公司经济场景下的动态交互与内容多样性。SynthUX 通过模拟经济系统引入角色、公司层级与目标多样性，但仍需应对轨迹生成的因果一致性挑战，即确保观察状态仅由低层级输入驱动，避免高层级应用突变带来的偏差。构建过程中，如何高效生成 36 条轨迹、843 帧的密集数据，并在 macOS、Windows 及浏览器三种环境中保持操作的真实性与可复现性，是一大技术难题。此外，跨操作系统消息传递与多应用并行执行对模拟器的稳定性与资源管理提出了严苛要求。

常用场景

经典使用场景

SynthUX Economy R4 W018 数据集聚焦于模拟企业环境中多应用交叉操作的计算机使用场景，其经典用途在于为多步骤、跨平台的图形用户界面（GUI）智能体提供轨迹级训练与评估基准。每条数据记录了一个虚拟员工在仿真公司内完成特定目标的完整操作路径，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、办公套件等多种桌面应用的协同执行。该场景的独特之处在于其原生多应用架构，摒弃了工作台叠加层的简化方式，要求智能体在真实的操作系统间切换、理解跨应用信息流并执行细粒度的鼠标与键盘操作，从而为GUI智能体从简单指令执行向复杂工作流自主规划的跨越提供了关键数据支撑。

解决学术问题

该数据集在学术层面核心解决了多应用协作下的细粒度轨迹建模与泛化性验证问题。传统计算机使用数据集多局限于单一应用或孤立任务，难以反映真实企业场景中信息在邮件、文档、即时通讯等工具间流转的复杂性。SynthUX通过引入多公司经济模拟、角色多样性以及跨操作系统环境（macOS、Windows、浏览器），系统性地挑战了现有GUI智能体在任务分解、跨应用状态追踪与适应性调度方面的能力。它为研究多步推理中的因果关联（即低层输入事件如何驱动高层目标达成）提供了带有对齐标注的观察序列，推动了面向真实世界办公自动化的因果学习与鲁棒策略优化方向的理论进展。

实际应用

在实际应用层面，该数据集直接服务于企业级自动化助手的开发与部署。例如，智能助理可通过学习这些轨迹数据掌握跨应用的常规办公流程，如根据邮件通知中的会议信息自动起草Slack消息、在日历中创建提醒并同步更新相关文档。数据集覆盖的36条完整轨迹及其对应的屏幕录像与关键帧，为构建可复现的自动化测试提供了黄金标准，尤其适用于需要处理多账号、多系统消息扰动的场景。此外，其基于因果观察的捕获机制保证了数据与真实模拟器状态的一致性，使得训练出的智能体在金融、供应链等行业的虚拟沙盒环境中能够稳健执行财务分析、资源调度等序列化任务。

数据集最近研究

最新研究方向

该数据集聚焦于图形用户界面（GUI）代理在多应用协同场景下的计算机使用行为模拟，尤其在经济模拟环境中，通过细粒度的合成轨迹数据（包括屏幕视频、节点帧和底层输入事件）支撑前沿的视觉语言模型训练与评估。当前研究热点包括基于因果观察的多应用编排、角色驱动的交互多样性，以及跨操作系统消息传递的鲁棒性建模。SynthUX-economy-r4-w018作为多公司经济模拟的典型实例，其生成的数据可助力构建更贴近真实办公场景的自主GUI代理，对提升AI在复杂企业软件生态中的操作理解与任务泛化能力具有里程碑意义。