jacob-valdez/synthux-economy-r3-w035

SynthUX计算机使用数据集——经济模拟r3，由SynthUX生成，包含基于视觉的计算机使用轨迹。每条记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布，内容包括数据记录、截图和视频。SynthUX Computer-Use Dataset — economy sim r3, grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo, with contents including data records, screenshots, and videos.

搜集汇总

数据集介绍

构建方式

在计算机视觉与图形用户界面智能体研究领域，真实人类操作数据的匮乏长期制约着模型泛化能力。SynthUX-economy-r3-w035 数据集应运而生，它通过模拟公司内部多员工并行工作的经济生态系统，利用 SynthUX 生成引擎将自然语言目标自动解析为节点树，终端节点驱动包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件在内的多款桌面模拟器，以底层鼠标与键盘指令完成真实交互，并将完整操作轨迹录制为屏幕视频与逐帧截图。每条记录对应一位虚拟员工在仿真公司中的一次会话。

使用方法

使用该数据集时，研究者可直接加载 data.jsonl 文件获取结构化轨迹记录，每个条目包含目标描述、节点树、输入事件时间序列及状态观察。配套的 screenshots 目录按轨迹与节点 ID 组织 PNG 帧，便于提取关键视觉状态；videos 目录提供完整屏幕录像（WebM 格式），适用于端到端行为建模。建议将轨迹中的输入事件序列作为监督信号训练 GUI 智能体，或利用多公司、多角色的异构数据测试模型的跨环境泛化能力。

背景与挑战

背景概述

SynthUX Computer-Use数据集由SynthUX团队于近期构建，旨在解决图形用户界面（GUI）智能体的视觉计算机操作轨迹生成问题。该数据集以经济模拟为背景，模拟多个公司内员工的设备操作会话，将自然语言目标分解为节点树并执行至终端节点，驱动真实桌面模拟应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格、幻灯片等）进行底层鼠标与键盘操作，同时记录完整的屏幕视频与逐节点帧图像。数据集包含来自6家公司的36条轨迹、1036帧图像及完整视频，覆盖macOS、Windows及浏览器环境，展现了多应用、跨平台的复杂交互场景。这一数据资源的发布，为GUI智能体在真实多应用环境中的自主操作研究提供了高保真、可复现的训练与评估基准，推动了计算机视觉与自动化领域的发展。

当前挑战

SynthUX数据集所解决的核心领域问题在于，传统GUI智能体研究多局限于单一应用或封闭环境，缺乏对跨应用、多任务、动态交互的企业级场景的建模能力。该数据集通过模拟多公司经济体系中的员工协作与任务执行，挑战在于如何将高维自然语言目标精准映射为细粒度的操作序列，并确保跨操作系统（macOS、Windows、浏览器）的输入事件与视觉观察的因果一致性。构建过程中，难点包括：1）在无工作台覆盖层（workbench overlay）的情况下，实现多应用原生执行与内容多样性生成；2）同步记录底层鼠标/键盘事件、应用状态变化及全屏视频，形成对齐的轨迹数据；3）模拟不同组织角色（如公司、职位）的多样性操作行为，避免数据偏置。这些挑战要求数据生成系统具备高度可控的仿真环境与细粒度的事件捕获机制。

常用场景

经典使用场景

SynthUX经济模拟数据集为计算机使用智能体的研究提供了逼真的多应用操作轨迹。该数据集的核心应用场景是训练和评估能够自主完成复杂跨应用任务的GUI智能体。每个轨迹记录了一个虚拟员工在模拟公司环境中的完整设备操作，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等多种办公应用。研究者可以利用这些带有屏幕录像和逐帧截图的多模态数据，训练智能体理解自然语言目标并将其转化为一系列精准的鼠标键盘操作，推动通用GUI智能体的发展。

解决学术问题

该数据集为计算机使用智能体领域长期存在的关键挑战提供了解决方案：如何获取大规模、高质量且多样化的真实操作轨迹。传统研究受限于人工标注成本高、隐私风险大以及环境单一等问题，难以构建泛化能力强的智能体模型。SynthUX通过模拟多公司、多角色、多操作系统的经济体系，生成了36条包含1036个关键帧的轨迹数据，实现了跨应用、跨平台的操作覆盖。这一数据资源使研究人员能够系统性地研究智能体在复杂工作流中的规划与执行能力，推动了从单一应用控制向多应用协同操作的范式转变。

实际应用

在实际应用层面，SynthUX数据集为构建企业级自动化助手提供了坚实的训练基础。基于该数据训练的智能体能够模拟真实员工执行跨部门协作任务，例如同时操作通信软件进行项目协调、使用文档工具撰写报告并更新电子表格数据。这类智能体可被部署于客户服务系统、IT运维管理或财务审计流程中，通过自动化重复性操作显著提升工作效率。此外，该数据支持多种操作系统环境（macOS、Windows、浏览器OS），使得训练出的智能体具备良好的跨平台迁移能力，为数字劳动力管理工具的开发提供了可行路径。

数据集最近研究

最新研究方向

在图形用户界面智能代理领域，SynthUX Economy模拟数据集为多应用协同操作与跨平台交互研究提供了全新的合成数据基准。该数据集通过模拟企业内部不同角色在终端、代码编辑器、浏览器、通信软件及办公套件间的真实设备操作轨迹，录制了包含鼠标键盘事件的完整屏幕视频与逐帧截图，开创性地实现了多公司经济系统中的代理行为多样性。其核心价值在于规避真实用户数据的隐私风险，同时为训练能够理解复杂多步骤图形界面的自主代理提供细粒度、因果对齐的监督信号。当前前沿研究正利用此类合成轨迹数据探索从单一应用到跨应用工作流的通用GUI智能体对齐训练，推动计算机使用自动化从实验室走向企业级模拟环境，对下一代人机协同自动化具有里程碑意义。