jacob-valdez/synthux-economy-r5-w065

SynthUX计算机使用数据集—经济模拟r5是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录代表一个模拟公司内工人的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括data.jsonl（每个渲染轨迹的记录）、screenshots（每个终端节点的帧，在节点最后输入事件时拍摄）和videos（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、目标、节点树、输入事件、观察结果、对齐和媒体文件。该版本统计显示轨迹36个，视频36个，帧985个，公司6个，按环境分布为browser-os（12）、macos-web-next（10）、windows-web-next（14）。数据集使用SynthUX生成，观察结果是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer Usage Dataset: Economic Simulation r5 is a visual computer interaction trajectory dataset generated via SynthUX. Each record corresponds to a device session of a worker within a simulated company: Targets are expanded into node trees, and terminal nodes drive real desktop emulator applications (e.g., "Terminal", "Notes", "VS Code", "Browser", "Slack/Teams", "Mail", "Spreadsheets", "Slides", etc.) through low-level mouse and keyboard inputs. The observed interaction trajectories are recorded as full screen videos and per-node frame captures. This dataset supports native multi-application execution (no workspace overlay), diverse content per participant, cross-operating system messaging, and large-scale multi-company economic simulations. Each individual economic simulation is released as a standalone dataset repository. The dataset contents include three core components: data.jsonl (records for each rendered trajectory), screenshots (frames of each terminal node captured at the node's final input event), and videos (full screen recordings of entire sessions). The record schema encompasses the following fields: trajectory ID, participant ID, company, role ID, title, environment (emulator type), target, node tree, input event, observation, alignment, and media files. Statistics for this release indicate 36 trajectories, 36 videos, 985 frames, and 6 participating companies, with distribution across environments as follows: browser-os (12), macos-web-next (10), and windows-web-next (14). This dataset is generated using SynthUX, with causal observations (the mutation channel relies on low-level inputs), and no high-level application mutations were utilized during the data capture process.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W065数据集基于SynthUX框架生成，专注于模拟公司内部员工在多个应用程序间的计算机操作轨迹。每个记录对应一位虚拟员工在模拟企业中的设备会话，其自然语言目标被分解为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用，如终端、笔记、代码编辑器、浏览器及办公套件等。轨迹以屏幕视频及逐节点帧的形式记录，所有观察均为因果性的，仅通过低层输入通道实现状态变更，未使用高层应用操控。该数据集将每个经济体模拟作为独立仓库发布，确保内容多样性与跨操作系统消息传递的真实性。

特点

该数据集的核心特征在于其原生多应用执行能力，无工作台覆盖层，每个参与者拥有独立内容，支持跨操作系统消息交互及大型多公司经济体模拟。数据包含36条轨迹、985帧图像及6家虚拟公司，覆盖macOS、Windows与浏览器三种环境。每条轨迹记录了完整的低密度输入事件序列、因果模拟器状态及与节点ID的对齐信息，同时提供全屏视频与逐节点PNG帧，为计算机视觉与GUI代理研究提供了高度细粒度的、多应用交互的视觉与行为数据。

使用方法

数据集以JSONL格式存储，每条记录包含轨迹ID、参与者信息、模拟环境、自然语言目标、节点树、密集输入事件及对齐信息。用户可通过读取'data.jsonl'文件获取结构化数据，并结合'screenshots/'目录下的逐节点帧与'videos/'目录下的全屏录像进行多模态分析。轨迹中的'input_events'字段记录了毫秒级精度的底层鼠标与键盘事件，'observations'字段提供因果状态，而'alignment'字段链接观察与事件范围至节点，便于研究者构建GUI代理、训练视觉-动作模型或分析多应用工作流中的用户行为模式。

背景与挑战

背景概述

在智能体与图形用户界面交互的研究领域中，模拟真实工作场景下的多应用协同操作数据集极为稀缺。SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于记录模拟公司内员工通过鼠标键盘在桌面应用程序（如终端、编辑器、浏览器、通讯工具等）间完成复杂目标的视觉轨迹。该数据集以多公司经济模拟为背景，每个轨迹包含完整的屏幕视频与逐节点截图，旨在推动计算机使用智能体在跨应用、跨操作系统环境下的泛化能力研究。其发布填补了现有合成数据集在层次化任务分解与多角色协同方面的空白，对构建更贴近真实办公场景的 GUI 智能体具有重要影响。

当前挑战

该数据集所解决的领域挑战在于，现有 GUI 智能体大多局限于单应用或预定义工作流，难以应对真实办公中多应用动态切换、跨平台消息传递及长程依赖任务。SynthUX 通过构建包含 36 条轨迹、6 家公司、涵盖 macOS、Windows 与浏览器环境的经济模拟数据，提供了低层级输入事件与高层级目标间的对齐标注，为研究端到端视觉定位与行动计划生成提供基准。构建过程中，团队需确保每个轨迹的因果性仅来源于真实输入序列，避免高层应用接口干预，并实现跨模拟公司的角色内容多样性，这对数据生成管道的可控性与扩展性提出了严苛要求。

常用场景

经典使用场景

在自动化图形用户界面（GUI）代理研究领域，SynthUX Economy模拟数据集为多应用、多角色的复杂企业级操作任务提供了标准化的评估平台。该数据集记录了36条完整的桌面操作轨迹，涵盖6家模拟公司中的员工在终端、浏览器、邮件、幻灯片等原生应用间的真实交互过程（包含985帧关键截图与全屏视频）。研究者可将其用于训练和评测能够理解自然语言目标并自主完成多步骤软件操作的智能代理系统。每一条轨迹都包含从高层目标到低层次鼠标键盘事件的完整对齐信息，使得模型可以有效学习任务规划、界面元素定位以及跨应用数据传递的能力。

解决学术问题

该数据集针对当前GUI代理研究中的核心难题——多应用协同操作缺乏真实、结构化的标注数据而设计。现有基准多局限于单应用场景或使用简化的网页模拟，难以反映真实办公环境中的人员组织架构和跨平台通信需求。SynthUX Economy通过引入公司层级（参与者身份、角色、所属部门）和跨操作系统环境（macOS、Windows、浏览器），填补了模拟多用户、多角色经济体系下GUI操作行为的研究空白。它能够支撑关于任务分解、环境状态因果推断以及异常操作检测等学术问题的深入探索，为构建可迁移至真实企业环境的自动化助手奠定了实验基础。

衍生相关工作

该数据集的发布催生了一系列关于多应用GUI代理训练范式的研究工作。代表性的衍生方向包括：基于节点树结构的层级化任务规划方法（将高德纳树与强化学习结合用于跨应用子目标分解），以及利用因果观测数据建模的逆强化学习策略，实现对操作意图的逆向推理。此外，数据集内丰富的跨平台轨迹被用于开发环境不变的表示学习模型，使得在不同操作系统间迁移代理策略成为可能。在评估方面，研究者提出了第一版基于多公司经济模拟的多维度代理评分指标体系，不再仅以任务完成率为单一标准，而是综合考虑操作合规性、资源消耗和协作效率。这些工作共同推动了GUI自动化领域从简单脚本执行向具备因果理解与组织适应性的高级代理系统的演进。