jacob-valdez/synthux-economy-r2-w004

SynthUX计算机使用数据集——经济模拟r2是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内的工作者设备会话：目标扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。数据集支持应用原生的多应用程序执行（无工作台覆盖），具有每个参与者内容的多样性、跨操作系统消息传递和大型多公司经济模拟功能。每个经济模拟都作为独立的数据集存储库发布。数据集包含数据文件、截图和视频，记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体引用。统计显示本版本包含36个轨迹、36个视频、945帧、6个公司，环境分布为browser-os（12个）、macos-web-next（13个）、windows-web-next（11个）。数据生成使用SynthUX，观察结果是因果的（突变通道为低级输入），捕获过程中未使用高级应用程序突变。The SynthUX Computer-Use Dataset — economy sim r2 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. It includes data files, screenshots, and videos, with a record schema covering trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media references. Statistics for this build show 36 trajectories, 36 videos, 945 frames, 6 companies, and environment distribution: browser-os (12), macos-web-next (13), windows-web-next (11). The data is generated with SynthUX, observations are causal (mutation channel = low_level_input), and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于模拟公司环境中的图形用户界面操作轨迹。每个记录对应一名虚拟员工在模拟公司内的设备会话：一个自然语言目标被展开为节点树，终端节点通过低层级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格处理、演示文稿等）。系统以原生多应用执行方式（无工作台覆盖）记录操作过程，并将观测到的轨迹保存为屏幕视频及每个终端节点的帧图像。模拟过程采用因果观测机制，仅通过低层级输入变异通道捕获状态，确保数据真实性。

使用方法

数据集以JSONL格式存储于data.jsonl文件中，每条记录包含完整的轨迹元数据及操作序列。图像数据按轨迹分目录存储在screenshots目录下，每个终端节点对应一个PNG帧，视频文件集中于videos目录。用户可通过trajectory_id字段索引特定会话，利用tree.nodes字段获取节点操作定义，或通过trajectory.input_events分析底层交互细节。适用于训练GUI代理模型、研究多步操作规划、跨平台人机界面行为分析等场景，支持JSON解析库直接加载数据。

背景与挑战

背景概述

在图形用户界面（GUI）智能体研究领域，构建能够理解并执行复杂计算机操作的任务型数据集是推动技术发展的关键。SynthUX Computer-Use (economy sim) 数据集由SynthUX团队于近期创建，专注于模拟多公司经济环境中的桌面操作轨迹。该数据集通过生成式方法，在工作站级别记录真实桌面模拟器（如终端、浏览器、代码编辑器、办公软件等）上的低层级鼠标与键盘操作，形成带有屏幕视频和逐节点帧的完整轨迹。其核心研究问题在于如何构建一个具备多应用协同、跨操作系统消息传递以及内容多样性的大型合成数据集，以支持GUI智能体在复杂商业场景中的学习与评估。该数据集的发布对计算机使用任务的标准化研究具有重要推动作用，为开发更鲁棒的自动化桌面代理提供了宝贵资源。

当前挑战

该数据集所解决的领域问题挑战在于GUI智能体面临的实际应用场景高度复杂，涉及多应用程序之间的交互与协作，而传统数据集往往局限于单一应用或简单操作，难以反映真实商务环境中的动态性和多样性。在构建过程中，主要挑战包括：一是确保模拟的经济系统内不同角色、公司及目标之间的内容多样性，避免重复或模式化轨迹；二是实现跨操作系统（如macOS、Windows）的模拟一致性，同时保持低层级输入事件的因果性和可复现性；三是生成足够规模的高质量轨迹数据（本次仅36条），在有限数据下平衡覆盖度与资源消耗，为后续扩展提供方法论基础。

常用场景

经典使用场景

在人工智能与图形用户界面（GUI）智能体研究领域，SynthUX Computer-Use数据集以其多应用、多公司经济模拟的独特设计，成为探索计算机操作自主化的关键资源。数据集记录了虚拟公司内员工在真实桌面环境（如浏览器、文本编辑器、邮件客户端、即时通讯工具等）中完成自然语言目标时的完整屏幕轨迹，包含低层级鼠标键盘事件序列与节点级帧截图。其经典用途在于训练与评估能够跨应用执行复杂任务的GUI智能体，推动模型从单一步骤指令向多步骤、多工具协作的范式跨越。

解决学术问题

该数据集深刻回应了智能体领域长期面临的三大挑战：跨应用复合操作的真实性建模、操作序列与高层语义的对齐机制、以及多主体协作场景下的环境演化问题。通过提供因果状态记录与对齐标签，研究者得以剖析智能体每一步操作对系统状态的动态影响，从而改进规划与推理算法。这一资源显著降低了在模拟环境中研究多任务、多应用GUI智能体的门槛，为构建具备环境感知与错误恢复能力的通用智能体奠定了数据基础，推动了计算机视觉、自然语言处理与自主决策的交叉融合。

实际应用

实际应用中，该数据集可赋能企业级自动化助手的设计，使智能体能够像人类员工一样在邮件、日程、文档与通讯工具间无缝切换，完成诸如跨平台数据录入、合同审批流程、客户信息同步等办公任务。在软件测试领域，可基于轨迹数据生成覆盖多应用交互路径的回归测试用例，提升可靠性。此外，该数据还能用于开发面向视障人士的计算机辅助操作工具，通过画面理解与操作复现降低数字壁垒。其多环境（macOS、Windows、浏览器）兼容性也为跨平台智能体产品落地提供了标准化的训练和评测基准。

数据集最近研究

最新研究方向

SynthUX Economy模拟数据集聚焦于多主体、多应用协同的桌面图形用户界面代理研究，通过记录模拟公司内员工的完整计算机操作轨迹（包括终端、浏览器、办公软件等多应用切换），为构建可泛化的GUI代理提供海量、细粒度的行为数据。当前前沿方向围绕“企业级数字员工”与“跨应用工作流自动化”展开，该数据集通过模拟多公司经济生态，支持研究代理在复杂组织架构下的任务分解、上下文记忆与低层级输入对齐能力，对推动LLM驱动的GUI代理从单场景指令执行迈向多角色、多工具协作的自主工作流具有重大意义，尤其契合近期AI Agent在企业效率工具集成与仿真实训平台建设中的热点需求。