jacob-valdez/synthux-economy-r5-w071

SynthUX计算机使用数据集（经济模拟r5）是一个基于模拟公司环境生成的计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），并记录观察到的轨迹，包括屏幕视频和每个节点的帧。数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括：data.jsonl（每个渲染轨迹的记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点的帧，在该节点的最后输入事件处拍摄）、videos/<trajectory>.webm（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境、目标、节点树、输入事件、观察结果、对齐和媒体信息。统计显示此构建包含36个轨迹、36个视频、836个帧、6个公司，环境分布为browser-os（11）、macos-web-next（15）、windows-web-next（10）。数据来源为SynthUX生成，观察基于因果模拟器状态（突变通道为低级别输入），捕获过程中未使用高级应用突变。The SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include: data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node, taken at that nodes last input event), videos/<trajectory>.webm (the full screen recording). Record schema covers fields such as trajectory_id, actor_id, company, role_id, title, env, goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, media.video, and media.frames. Stats for this build show: trajectories: 36, videos: 36, frames: 836, companies: 6, by env: browser-os (11), macos-web-next (15), windows-web-next (10). Provenance: generated with SynthUX, observations are causal (mutation channel = low_level_input), and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R5-W071数据集源于模拟企业环境中工作者设备会话的合成生成流程。每个会话对应一名员工在虚拟公司内的操作目标，该目标被扩展为一棵节点树，终端节点通过底层鼠标与键盘指令驱动真实的桌面模拟器应用——如终端、记事本、VS Code、浏览器、即时通讯工具、邮件、电子表格与演示文稿等。整个交互轨迹以屏幕视频及逐节点帧的形式被完整记录，构建过程依赖SynthUX框架的低层输入变异通道，确保因果一致性与行为真实性。

使用方法

数据集以JSON Lines格式存储于data.jsonl文件中，每条记录包含轨迹唯一标识符、参与者信息、环境类型、自然语言目标、节点树结构、密集低层输入事件序列及因果观察状态。媒体文件分置于screenshots与videos目录，分别提供逐节点PNG帧与全屏WebM视频。用户可依据轨迹ID与节点映射关系进行对齐分析，适用于训练与评估GUI代理在多重应用与跨环境任务中的感知与执行能力。

背景与挑战

背景概述

SynthUX Economy R5 W071数据集由SynthUX团队于近期创建，专注于模拟多公司经济体系下的图形用户界面代理行为。该数据集通过生成式方法，在虚拟公司环境中记录工作者设备会话的完整视觉计算轨迹，涵盖终端、代码编辑器、浏览器、通信软件及办公套件等多应用协同操作。其核心研究问题在于构建能够理解并执行复杂跨应用任务的GUI代理模型，为计算机使用自动化领域提供了首个大规模、原生的多应用执行轨迹资源。数据集采用每模拟经济体独立发布的模式，显著推动了人机交互与智能代理系统的实证研究发展。

当前挑战

该数据集面临的挑战主要来自两方面。在领域问题层面，GUI代理需应对动态多应用环境中的任务分解与执行连贯性难题，例如跨操作系统消息传递、内容异构性维护及低层级鼠标键盘操作到高层级语义目标的映射。在构建过程中，SynthUX需确保模拟器内观测数据的因果一致性，即仅通过低层级输入通道驱动应用状态变迁，避免使用高级应用突变接口，同时维持36条轨迹中836个帧与681个终端节点的精准对齐，这对数据采集管道的可靠性提出了严苛要求。

常用场景

经典使用场景

在人工智能与计算系统交叉研究的前沿领域中，SynthUX Economy仿真数据集为多应用GUI智能体的行为建模提供了独特资源。该数据集最经典的使用场景在于训练和评估能够跨多个桌面应用程序（如终端、浏览器、邮件客户端、视频会议工具等）完成复杂工作流的AI代理。每条记录包含一个虚拟员工在企业环境中的完整操作轨迹，涵盖从自然语言目标到低层级鼠标键盘事件的序列映射，使得研究者得以在高度仿真的多应用协作情境下检验智能体的规划与执行能力。

解决学术问题

该数据集系统性地解决了当前GUI智能体研究中的两大核心痛点：真实多应用环境下的可迁移行为建模，以及大规模企业级协作场景的仿真不足。通过记录六家虚拟公司中不同角色员工的36条操作轨迹，SynthUX数据集使学术界能够首次在带有因果状态追踪的细粒度模拟环境中，研究跨应用任务分解、工具间上下文切换策略以及多智能体协作中的信息传递机制。这一资源显著降低了传统人工标注的高昂成本，为构建可泛化的计算机使用代理奠定了实证基础，推动了人机交互与AI系统融合的学术边界。

实际应用

在实际产业应用中，SynthUX数据集所驱动的GUI代理技术正逐步渗透至企业流程自动化领域。基于该数据训练的智能体能够自主执行财务对账、客户关系管理中的跨平台数据录入、跨部门文档协同编辑等重复性办公任务。例如，一个代理可根据邮件中的指令，自动从浏览器提取报表，在电子表格中完成运算，并将结果通过即时通讯工具发送给相关同事——整个过程无需人工介入。这种能力正在被整合到企业级RPA平台和数字员工解决方案中，显著提升了办公室工作的自动化深度与鲁棒性。

数据集最近研究

最新研究方向

在GUI智能体与多应用协同操作的前沿领域，SynthUX Economy R5数据集为研究基于视觉的计算轨迹生成提供了创新性基准。该数据集模拟多角色、多公司经济体系中的真实桌面操作场景，涵盖跨操作系统消息、文档协作及多应用并行执行等复杂任务，突破了传统单应用或单环境数据集的局限。其采用因果观测机制与低层级输入事件录制的设计，能够精准还原智能体的原生操作序列，为训练具备跨应用推理与实时界面理解能力的通用GUI智能体提供了关键资源。当前，该数据集正推动着企业级自动化、数字员工仿真以及多智能体经济模拟等热点方向的研究，其细粒度的轨迹对齐标注与多媒介数据形式，为评估智能体在真实工作流中的泛化性与鲁棒性树立了新标杆。