synthux-economy-r5-w053

SynthUX Computer-Use数据集（economy sim r5版本）是一个基于视觉的计算机使用轨迹数据集，通过SynthUX系统生成，模拟公司环境中工人的真实设备操作会话。每个记录代表工人在模拟公司内的完整会话轨迹：从自然语言目标开始，扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。观察到的轨迹被记录为屏幕视频和每个节点的帧图像。数据集采用应用原生多应用程序执行模式，具有每个参与者的内容多样性、跨操作系统消息传递和大规模多公司经济模拟特征。每个经济模拟作为独立的数据集仓库发布。数据集包含三种格式：data.jsonl（每个渲染轨迹一条记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点在最后输入事件时刻的帧图像）和videos/<trajectory>.webm（完整屏幕录制）。记录模式包括轨迹ID、参与者信息（ID、公司、角色、职位）、模拟环境（macos-web-next/windows-web-next/browser-os）、自然语言目标、节点树结构、密集的低级别输入事件、因果模拟器状态观察、对齐信息以及媒体引用。当前构建包含36条轨迹、949帧图像、6家公司，按环境分布为：browser-os（8条）、macos-web-next（14条）、windows-web-next（14条）。数据生成使用SynthUX系统（synthux.multicompany.day.v1），观察基于因果模拟器状态（突变通道为低级别输入），在捕获过程中未使用高级别应用程序突变。该数据集适用于计算机使用分析、GUI智能体训练、多应用程序交互研究和经济模拟等任务。The SynthUX Computer-Use dataset (economy sim r5 version) is a vision-based computer usage trajectory dataset generated by the SynthUX system, simulating real device operation sessions of workers in a corporate environment. Each record represents a complete session trajectory of a worker within a simulated company: starting from a natural language goal, expanding into a node tree, with terminal nodes driving real desktop simulator applications (such as terminal, notes, VS Code, browser, Slack/Teams, email, spreadsheets, slides, etc.) through low-level mouse/keyboard inputs. The observed trajectories are recorded as screen videos and frame images for each node. The dataset employs an application-native multi-application execution mode, featuring content diversity per participant, cross-OS messaging, and large-scale multi-company economic simulation characteristics. Each economic simulation is released as an independent dataset repository. The dataset includes three formats: data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (frame images for each terminal node at the moment of the last input event), and videos/<trajectory>.webm (full screen recordings). Recording modes include trajectory ID, participant information (ID, company, role, position), simulation environment (macos-web-next/windows-web-next/browser-os), natural language goal, node tree structure, dense low-level input events, causal simulator state observations, alignment information, and media references. The current build contains 36 trajectories, 949 frame images, and 6 companies, distributed by environment as: browser-os (8), macos-web-next (14), windows-web-next (14). Data generation uses the SynthUX system (synthux.multicompany.day.v1), with observations based on causal simulator states (mutation channels as low-level inputs), and no high-level application mutations were used during capture. This dataset is suitable for tasks such as computer usage analysis, GUI agent training, multi-application interaction research, and economic simulation.

原始信息汇总

数据集概述

SynthUX Computer-Use Dataset — economy sim r5 是一个由 SynthUX 生成的、基于真实桌面模拟器的图形化计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话，包含完整的屏幕视频和逐节点截图。

数据集内容

• data.jsonl：每条渲染轨迹的记录。
• screenshots/<轨迹ID>/<节点ID>.png：每个终端节点在最后一次输入事件时的帧。
• videos/<轨迹ID>.webm：完整的屏幕录像。

记录字段说明

字段	含义
trajectory_id	唯一标识（格式：<actor>__<env>）
actor_id, company, role_id, title	用户身份及所属组织信息
env	模拟器类型：macos-web-next / windows-web-next / browser-os
goal	会话的自然语言目标
tree.nodes	用户的终端节点（包含 surface, action, target, args）
trajectory.input_events	密集的低级鼠标/键盘/脚本事件（含时间戳 t_ms）
trajectory.observations	每个节点后的因果模拟器状态
trajectory.alignment	将观察结果和输入事件范围链接到节点ID
media.video	屏幕录像（webm格式）
media.frames	每个节点的PNG帧（包含节点ID、时间戳和blob引用）

数据集统计（当前构建版本）

• 轨迹数：36条
• 视频数：36个，帧数：949帧
• 公司数：6个
• 按环境分布：browser-os（8条）、macos-web-next（14条）、windows-web-next（14条）

生成来源

由 SynthUX 生成（配置：synthux.multicompany.day.v1）。观察结果基于因果模型（变异通道为低级输入），采集过程中未使用高级应用程序变异。

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，聚焦于模拟企业环境中的图形用户界面交互轨迹。每个记录代表一名员工在模拟公司内的设备会话：自然语言目标被分解为节点树，终端节点通过低层级的鼠标与键盘输入驱动真实桌面模拟器应用，如终端、笔记、代码编辑器、浏览器及办公协作软件等，并录制完整的屏幕视频及每节点帧图。数据集的构建摒弃了工作台覆盖层，实现了原生多应用执行，确保了跨操作系统的消息传递与多公司经济体系的模拟。每个经济仿真作为独立的数据集仓库发布，涵盖36条轨迹、949帧图像及6个虚拟公司场景，环境覆盖macOS、Windows及浏览器模拟器。

特点

该数据集的核心特点在于其原生多应用执行与跨平台兼容性，通过低层级输入信道记录因果状态，避免了高层应用突变的干扰。每条轨迹包含详尽的输入事件序列与因果模拟状态，并链接至对应节点，提供了细粒度的交互过程还原。数据集的多样性体现在不同员工角色、公司组织及操作系统环境的组合，以及基于自然语言目标的动态任务分解。此外，每节点帧图与全屏视频的双重媒体记录，兼顾了宏观流程与微观操作的观察需求，适用于GUI代理的训练与评估。

使用方法

数据集以JSON Lines格式存储轨迹记录，每条包含轨迹标识、参与者信息、模拟环境、目标及节点树结构。配套的截图与视频文件按轨迹与节点ID组织，便于直接关联回放。用户可通过解析`data.jsonl`文件中的`trajectory.input_events`与`trajectory.observations`字段，提取低层级交互事件与状态变化，用于训练GUI操作代理或评估其任务完成能力。媒体文件（PNG帧与WebM视频）支持可视化验证，而`trajectory.alignment`字段提供了输入事件与观察状态的映射，便于对齐分析。数据遵循Apache 2.0许可，可直接下载并集成至机器学习流水线。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r5）由SynthUX团队于近期创建，旨在模拟多公司经济体系下的人工智能体在计算机桌面环境中的交互轨迹。该数据集聚焦于结构化视觉计算机使用场景，通过模拟企业内员工在多种应用程序（如终端、代码编辑器、浏览器、即时通讯工具、办公套件等）间的低层级鼠标与键盘操作，生成丰富的多应用、跨操作系统交互记录。其核心研究问题在于如何构建能够理解并执行复杂多步骤计算机任务的智能体，并以可复现的方式评估其性能。该数据集对图形用户界面（GUI）智能体研究领域产生了深远影响，为开发可跨平台、跨应用协作的自动化系统提供了高保真度的基准资源。

当前挑战

该数据集所解决的领域挑战集中于：1）多应用协同操作复杂性，传统单应用基准无法模拟真实办公中跨平台（macOS、Windows、浏览器OS）与多工具（代码编辑、通信、文档处理）的连续任务执行，而SynthUX通过结构化节点树与终端节点驱动，实现了任务级因果分解；2）构建过程中的挑战包括确保轨道语义一致性，即自然语言目标需精确映射为低层级输入事件序列，同时维持各模拟公司内部角色、内容及跨操作系统消息的多样性，这要求生成算法在高保真仿真中平衡随机性与任务约束，避免轨迹碎片化或逻辑断裂。

常用场景

经典使用场景

在GUI智能体研究领域，SynthUX Computer-Use数据集专为训练和评估多应用、跨平台的计算机操作智能体而设计。该数据集记录了模拟公司中不同角色员工的设备操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等多种桌面应用的协同使用。每条轨迹包含自然语言目标、细粒度的鼠标键盘事件序列以及对应的屏幕视频和帧图像，为构建能够理解复杂多步任务并执行跨应用操作的自主智能体提供了宝贵的监督信号。研究者和开发者可以基于这些真实感极强的合成数据，训练模型学会在不同应用程序之间无缝切换、调用功能模块，最终实现像人类一样高效完成企业级工作流的目标。

实际应用

在实际应用层面，SynthUX数据集为开发企业级数字助手和自动化工具提供了坚实的数据基础。基于该数据集训练的智能体能够部署于真实办公环境中，自动执行重复性任务，例如通过终端与浏览器配合完成系统日志的查询与报表生成，或者在邮件、即时通讯和电子表格之间同步商务信息。这类智能体可以显著提升知识工作者的效率，减少跨平台操作的手动切换成本。此外，数据集包含的不同操作系统环境（macOS、Windows、浏览器OS）信息，使得训练的模型具备更强的跨平台迁移能力，有望被集成到虚拟桌面基础设施（VDI）或远程协助系统之中，实现对多设备、多操作系统场景的统一管控。

衍生相关工作

SynthUX数据集的发布已催生了一系列值得关注的衍生工作。研究者基于其多公司仿真架构，探索了如何通过角色属性（如职位、部门）来引导智能体生成更加个性化、场景化的操作策略。一些工作利用该数据集的细粒度事件对齐信息，开发了新的视频-动作对齐模型，能够在未标注的屏幕录制中自主学习GUI操作意图。此外，数据集中覆盖的六个虚拟公司、数十条角色轨迹为评估不同规模语言模型在多应用任务上的泛化能力提供了标准化测试平台，已有多个预训练模型在此基础上进行了微调和基准测试，进一步推动了GUI智能体领域评估体系的规范化。