jacob-valdez/synthux-economy-r5-w089

SynthUX计算机使用数据集是一个基于模拟环境的计算机使用轨迹数据集，专门用于经济模拟（版本r5）。该数据集包含由SynthUX生成的基于视觉的计算机使用轨迹，每个记录代表一个模拟公司内工作人员的设备会话。具体来说，目标会扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟都作为独立的数据集存储库发布。数据内容包括：data.jsonl（每个渲染轨迹的记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点的帧，在节点的最后一个输入事件时捕获）和videos/<trajectory>.webm（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、自然语言目标、节点树、输入事件、观察结果、对齐信息和媒体文件。统计信息显示，该构建包含10个轨迹、10个视频、215帧、5个公司，所有环境均为browser-os。数据来源为SynthUX生成，观察结果是因果的，使用低级别输入通道，未使用高级应用程序突变。The SynthUX Computer Usage Dataset is a simulated-environment-based computer usage trajectory dataset specifically designed for economic simulations (version r5). This dataset contains vision-based computer usage trajectories generated by SynthUX, where each record represents a device session of a worker within a simulated company. Specifically, goals are expanded into node trees, and terminal nodes drive real desktop emulator applications (e.g., terminal, Notes, VS Code, browser, Slack/Teams, Mail, Excel, PowerPoint, etc.) via low-level mouse/keyboard inputs. The observed trajectories are recorded as screen videos and frames for each node. The dataset supports native multi-application execution (no workspace overlay), featuring content diversity per participant, cross-OS messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset contents include: data.jsonl (records for each rendered trajectory), screenshots/<trajectory>/<node_id>.png (frames for each terminal node, captured at the last input event of the node), and videos/<trajectory>.webm (full screen recordings). The record schema includes trajectory ID, participant ID, company, role ID, title, environment (emulator type), natural language goal, node tree, input events, observations, alignment information, and media files. Statistical information shows that this build contains 10 trajectories, 10 videos, 215 frames, and 5 companies, with all environments being browser-os. The dataset is generated by SynthUX, where observations are causal, using low-level input channels without relying on high-level application mutations.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX系统生成，模拟了一个多公司经济体系中的计算机使用场景。每个记录对应一名员工在模拟公司内的设备会话：系统首先将自然语言目标展开为节点树，终端节点通过低阶鼠标与键盘输入驱动真实的桌面模拟器应用（包括终端、记事本、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），进而记录完整的操作轨迹。数据采集过程中严格保持因果性，仅通过低阶输入通道进行状态变更，未使用任何高阶应用层面的干预手段。每个轨迹以屏幕视频和逐节点帧图像的形式保存，经济模拟的每次运行独立发布为单独的数据集仓库。

使用方法

数据集以JSON Lines格式存储轨迹元数据，每条记录包含轨迹ID、参与者身份、组织归属、自然语言目标、节点树结构及密集的低阶输入事件序列。视频文件以WebM格式存放于videos目录，每帧图像以PNG格式按轨迹和节点ID组织在screenshots目录下。用户可通过轨迹ID索引对应的视频和帧图像文件，并结合metadata中的时间戳与节点ID实现输入事件、观察状态与视觉帧的精准对齐。该数据集特别适用于训练和评估GUI智能体在真实多应用环境中的视觉理解与操作推理能力。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，旨在模拟企业在多应用环境下的桌面图形用户界面操作轨迹。该数据集聚焦于经济学模拟场景，包含6家虚拟公司中36条完整的设备会话记录，覆盖macOS、Windows及浏览器操作系统。其核心研究问题在于如何生成具有高度真实性和多样性的计算机使用轨迹数据，以支持GUI自动化代理的学习与评估。通过记录低层级的鼠标、键盘事件及完整的屏幕视频，该数据集为多应用协同、跨平台交互以及企业级工作流模拟提供了宝贵的基准资源，在AI代理与数字模拟领域展现出显著的学术与应用价值。

当前挑战

该数据集面临的挑战主要源于两方面。在领域问题层面，现有的计算机使用数据集多局限于单一应用或预设任务，难以反映企业环境中多应用联动、角色分工及内容冲突的真实复杂性；SynthUX致力于生成可扩展、多公司经济生态下的异构轨迹，以弥合模拟与真实场景之间的鸿沟。在构建过程中，如何确保每个代理会话的因果完整性、避免高层API干预带来的生态谬误，以及如何高效跨平台捕获低层级输入事件并保持数据一致性，构成了关键技术挑战。此外，模拟规模的扩大加剧了内容多样性保障与数据质量控制的难度，亟需稳健的生成框架与验证机制。

常用场景

经典使用场景

SynthUX Economy R5 W089 数据集专为计算机使用智能体的多应用、多组织协作场景而设计，其核心用途在于模拟企业环境中员工通过真实操作系统界面（macOS、Windows、浏览器）完成复杂业务目标的完整轨迹。每一段轨迹都涵盖了从自然语言目标展开为原子操作节点树，再到通过鼠标、键盘等底层交互驱动终端应用（如终端、VS Code、浏览器、邮件、即时通讯和办公套件）的全过程，同时以屏幕视频和逐帧截图的形式忠实记录。该数据集为训练和评测能够跨应用、跨平台执行多步骤任务的计算智能体提供了高保真的仿真环境，尤其是在需要理解企业层级、角色分工以及跨组织通信的经济模拟场景中，其应用价值尤为凸显。

解决学术问题

在学术界，该数据集有效回应了当前GUI智能体研究中缺乏大规模、多应用、因果对齐的实地轨迹数据的困境。它解决了两个关键问题：其一是多步骤、多应用协同任务中的因果状态追踪难题——通过记录每个终端节点执行后的模拟器状态，研究者可精确分析智能体动作对环境的影响；其二是跨组织、跨角色经济模拟中的泛化能力评估——包含6家公司、36条轨迹的异构数据，使得探索不同层级员工（如角色ID和头衔区分）在相似目标下的行为差异成为可能。该数据集的意义在于，它首次将企业级多应用协作的经济学模拟与计算机视觉、自然语言处理及强化学习领域的前沿问题深度融合，为构建真正具备上下文理解和长期规划能力的通用智能体奠定了数据基础。

实际应用

在实际应用中，该数据集可直接用于开发能够辅助员工完成日常办公任务的企业级智能助手。例如，系统可学习一个市场部门员工如何依次打开浏览器查阅市场报告、在Slack中通知团队、用邮件向管理层汇报，并在Sheets中更新预算表；基于此数据训练的智能体可在类似任务中自动执行繁琐的跨应用操作，大幅提升工作效率。此外，该模拟经济环境还适用于软件测试领域——通过对比智能体轨迹与人工操作，自动化测试工具可发现多应用交互中的异常流或界面兼容性问题。最终，这类技术有望融入远程办公协作平台，实现跨OS（如macOS与Windows混合办公）的无人值守操作，降低人工重复劳动的成本。

数据集最近研究

最新研究方向

在图形用户界面智能体（GUI agents）与计算机使用模拟的前沿领域，SynthUX Economy R5 W089数据集聚焦于多应用协同与多公司经济体的复杂场景。该数据集通过合成轨迹生成技术，在模拟公司内部记录每个工作者设备会话的完整视觉交互轨迹，涵盖终端节点驱动的桌面模拟器操作（如Terminal、VS Code、Browser、Slack等），并以屏幕视频及逐节点帧图像形式呈现。其创新之处在于实现应用原生多任务执行、跨操作系统消息传递与大范围经济互动，为研究多代理协作、企业级任务自动化提供因果观测序列。这一资源推动了GUI智能体在真实计算环境中的泛化能力评估，尤其在人机协作模拟与合成数据可靠性领域具有重要影响，为未来自适应界面智能系统的发展奠定基础。