jacob-valdez/synthux-economy-r1-w011

SynthUX计算机使用数据集——经济模拟r1是一个基于SynthUX生成的视觉计算机使用轨迹数据集，模拟公司环境中的工作会话。每个记录代表一个工作者在模拟公司设备会话中的完整轨迹：目标扩展成节点树，终端节点通过低级别鼠标和键盘输入驱动真实桌面模拟器应用（包括Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一条记录）、screenshots目录（每个轨迹的终端节点帧，以PNG格式保存）和videos目录（完整屏幕录制，以WebM格式保存）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型：macos-web-next、windows-web-next或browser-os）、自然语言目标、节点树、密集低级别输入事件、因果模拟器状态观察、对齐信息以及媒体引用。本构建包含36个轨迹、1029帧和6家公司，按环境分布为browser-os（9个）、macos-web-next（13个）和windows-web-next（14个）。数据集由SynthUX生成，观察结果是因果性的，不使用高级应用程序突变。SynthUX Computer-Use Dataset — economy sim r1 is a dataset of grounded visual computer-use trajectories generated by SynthUX, simulating worker device sessions within a simulated company. Each record represents one workers device session: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without a workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. The dataset includes data.jsonl (one record per rendered trajectory), screenshots directory (a frame per terminal node in PNG format, taken at the nodes last input event), and videos directory (full screen recordings in WebM format). The record schema includes trajectory_id, actor_id, company, role_id, title, env (simulator type: macos-web-next, windows-web-next, or browser-os), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. This build contains 36 trajectories, 1029 frames, and 6 companies, distributed by env as browser-os (9), macos-web-next (13), and windows-web-next (14). It is generated with SynthUX, with observations being causal and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

该数据集通过SynthUX框架生成，模拟了一家虚拟公司中员工的桌面操作轨迹。每个记录对应一名工人在模拟公司内部的设备会话，系统将自然语言目标展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。整个执行过程依托应用原生多应用机制，无需工作台覆盖层，并记录下完整的屏幕视频与每个节点的帧图像。数据集的构建确保了因果性，仅通过低层级输入通道驱动状态变化，避免了高层级应用的干预。

特点

该数据集具有鲜明的特性：首先，它实现了多应用原生执行，模拟了跨操作系统的消息传递与大规模多公司经济体系，每个经济模拟独立发布为单独的数据集仓库。其次，内容多样性体现在每个参与者的独立角色与公司背景，涵盖浏览器操作系统、macOS与Windows系统环境。数据集包含36条轨迹，对应1029个帧与6家虚拟公司，轨迹分布均衡，既有跨平台覆盖，又保持了场景的真实性与复杂性。此外，每个轨迹均包含密集的低层级输入事件与因果模拟状态，支持细粒度的行为分析。

使用方法

数据集以JSONL格式存储，每条记录包含轨迹ID、参与者信息、目标、节点树、输入事件序列、因果观测状态、对齐信息，以及视频与帧的媒体文件。用户可通过加载data.jsonl文件获取结构化数据，利用screenshots目录下的PNG帧与videos目录下的WebM视频进行视觉分析。适用于训练与评估图形用户界面代理模型，特别是需要多应用协同操作与跨平台行为的场景。研究者可依据对齐字段将输入事件与节点ID关联，进行精确的行为追踪与复现。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，旨在为图形用户界面（GUI）代理研究提供高保真、多应用交互的合成轨迹数据。该数据集模拟了多公司经济场景中不同角色的设备操作行为，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等真实桌面应用的复杂工作流。通过将自然语言目标分解为节点树，并记录低层级的鼠标与键盘事件及屏幕视频，数据集为训练和评估 GUI 代理在跨应用、跨操作系统环境下的自主任务执行能力提供了关键基准。其独特的“多公司经济模拟”设计，显著拓展了现有合成数据集在组织级协作与异构应用交互方面的覆盖范围，有望推动计算机使用代理从单任务操作向多角色、多场景协同的范式转变。

当前挑战

该数据集所解决的领域核心挑战在于：现有 GUI 代理数据集多依赖应用层API或简化模拟器，无法真实反映低层级鼠标/键盘事件驱动下的跨应用操作复杂性与因果性。SynthUX 通过引入因果观测通道（低层级输入作为突变源）和多公司经济模拟，克服了传统数据集在应用间依赖与上下文多样性上的不足。构建过程中，主要挑战包括：设计可扩展的多应用桌面模拟器（macOS、Windows、浏览器OS），确保每个操作轨迹均基于真实输入而非高层级API；生成具有角色与公司特定内容偏好的合成数据，避免单一模式；以及精确对齐节点树、输入事件与屏幕帧的时间序列，从而建立观测与动作之间的因果链条。这些工程与设计上的创新，使得数据集在规模有限（36条轨迹）的情况下仍具备显著的代表性与可用性。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，synthux-economy-r1-w011数据集为构建和评估多应用协同操作的AI系统提供了高度真实的训练与测试环境。该数据集模拟了真实企业场景中员工在桌面操作系统上的完整操作流程，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和幻灯片演示等多种办公应用。研究者能够利用其丰富的屏幕录制视频、逐节点帧画面以及低层级鼠标键盘输入事件序列，训练模型理解复杂任务分解与多步骤操作执行的底层逻辑。经典使用模式包括：基于自然语言目标生成操作轨迹的端到端学习，跨应用上下文感知的界面导航，以及细粒度动作序列的模仿学习，从而推动GUI智能体从单任务执行向多应用协同的实质性跨越。

解决学术问题

该数据集针对GUI智能体研究中长期存在的两大核心挑战——多应用上下文隔离与真实企业场景模拟，提供了系统性的解决方案。传统研究数据集往往局限于单一应用或预定义工作流，未能反映真实办公环境中任务横跨多个软件、需要动态切换与信息整合的典型特征。synthux-economy-r1-w011通过构建包含6家模拟公司、36条完整操作轨迹的微观经济体系，使得研究者能够探索智能体在跨应用消息传递、多窗口状态追踪以及企业级权限约束下的行为策略。该数据集的因果观测设计（仅依赖低层级输入事件触发状态变更）排除了高层应用接口的干扰，为理解智能体从感官输入到动作输出的完整认知链条提供了干净的研究范式，极大地推动了模型泛化能力与鲁棒性评估的理论进展。

衍生相关工作

该数据集的发布催生了一系列前沿研究工作，主要集中于三大方向：首先，基于其多层级轨迹结构（从自然语言目标到终端节点再到低级事件），研究者提出了层次化策略学习框架，利用节点树分解复杂任务以提升动作规划的可解释性。其次，数据集中的跨应用操作模式推动了多智能体协作范式的发展，衍生出以公司为单位的角色分工模型，其中各智能体分别负责浏览器信息检索、代码调试、邮件撰写等子任务，并通过模拟通讯渠道协调进度。最后，其全屏幕视频录制特性激发了基于视觉观察的端到端模型研究，代表性工作包括利用视频帧序列与输入事件对齐数据训练的时空注意力网络，以及利用因果状态观测进行反事实推理的广义行为克隆算法，这些工作均在不同程度上将GUI智能体的性能推进到了可部署水平。