jacob-valdez/synthux-economy-r5-w057

SynthUX计算机使用数据集（经济模拟r5）是一个基于视觉的计算机使用轨迹合成数据集，由SynthUX生成。每个记录代表一个模拟公司内的工作者设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），每个参与者的内容多样性，跨操作系统消息传递，以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一个记录）、screenshots文件夹（每个终端节点的帧，在节点最后一个输入事件时捕获）和videos文件夹（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、自然语言目标、节点树、轨迹输入事件、观察结果、对齐信息以及媒体文件。本构建版本包含36个轨迹、1191帧和6个公司，环境分布为browser-os（11个）、macos-web-next（11个）和windows-web-next（14个）。数据生成使用SynthUX（synthux.multicompany.day.v1），观察结果是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。SynthUX Computer-Use Dataset — economy sim r5 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. The dataset includes data.jsonl (one record per rendered trajectory), screenshots folder (a frame per terminal node taken at that nodes last input event), and videos folder (the full screen recording). The record schema covers trajectory_id, actor_id, company, role_id, title, env (simulator type), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media files. This build has 36 trajectories, 1191 frames, and 6 companies, with env distribution: browser-os (11), macos-web-next (11), windows-web-next (14). It is generated with SynthUX (synthux.multicompany.day.v1), with causal observations (mutation channel = low_level_input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

该数据集通过SynthUX框架生成的拟真视觉计算机操作轨迹构建而成。每条记录模拟了一个模拟公司内某位员工的设备会话过程：首先将自然语言目标扩展为节点树结构，终端节点通过低层级的鼠标与键盘输入驱动真实桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格与演示文稿等）。随后，系统将观测到的完整操作轨迹录制成屏幕视频，并为每个终端节点采集对应帧图像。整个流程采用应用原生多应用执行机制，而非工作台叠加层方式，同时融入跨操作系统消息传递与多公司经济模拟场景。每个经济模拟版本均以独立数据集仓库形式发布。

使用方法

研究者可通过加载`data.jsonl`文件读取每条轨迹的结构化记录，包括目标、行为树、输入事件序列及观测状态。针对视觉分析需求，可配合`screenshots`目录下的按节点存储的PNG帧图像以及`videos`目录中的完整屏幕录像WebM文件使用。建议利用`trajectory.alignment`字段将输入事件范围与节点标识建立一一对应，从而实现对特定操作序列的精细化提取与重放。该数据集适用于GUI代理训练、人机交互行为分析以及多应用协同仿真场景，尤其适合需要时间对齐的视觉-动作联合建模任务。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于合成多应用图形用户界面（GUI）代理的视觉计算机使用轨迹。该数据集源于模拟公司经济体系中的真实工作场景，旨在通过低层级鼠标和键盘输入，记录不同角色（如员工）在多个桌面应用程序（如终端、笔记、代码编辑器、浏览器、通讯工具、邮件、表格和幻灯片）间的自然交互行为。其核心研究问题在于如何生成大规模、多应用、跨操作系统的接地视觉轨迹，以支持 GUI 代理的自主决策与执行能力研究。数据集采用多公司经济仿真模式，覆盖 macOS、Windows 及浏览器环境，每个会话均包含自然语言目标、节点树结构及完整的屏幕录像，为计算机视觉与具身智能领域的联合研究奠定了重要基础。

当前挑战

SynthUX 数据集所要解决的领域挑战主要在于 GUI 代理系统的复杂性与泛化性不足。传统的计算机使用数据集多局限于单一应用或静态界面，难以反映多应用协作、动态内容变化及跨平台交互的真实场景。该数据集通过模拟多公司经济体系中的员工工作流程，引入了跨操作系统消息传递、多应用并行执行及内容多样性等现实复杂性，从而推动代理模型从简单指令执行向自适应复杂任务发展。构建过程中面临的挑战包括：1）在无覆盖层的工作台上实现应用本机多应用执行的准确记录，避免干扰原始界面；2）确保各参与者内容的差异性与角色认知的一致性，防止合成数据过度同质化；3）收集因 OS 级事件（如消息通知）导致的非预期交互，以增强数据的因果完备性；4）协调低层级输入事件与高层级语义目标之间的对齐，提升轨迹的可解释性。

常用场景

经典使用场景

SynthUX Economy R5 W057数据集在GUI智能体研究领域占据着独特的地位，它通过模拟公司环境中多员工设备的完整操作轨迹，为计算机视觉与语言指令之间的桥梁搭建提供了基础。研究者常使用该数据集来训练能够理解自然语言目标并执行跨应用程序操作的自动化智能体，例如要求智能体在模拟公司环境中完成财务报表整理或跨平台数据同步等任务。该数据集的36条轨迹覆盖了macOS、Windows及浏览器操作系统，每条轨迹包含密集的低级输入事件、视频录制及关键帧截图，使得模型能够从像素级视觉信息中学习操作逻辑。

解决学术问题

该数据集有效解决了多应用协同操作中轨迹数据稀缺与行为多样性不足的学术痛点。传统GUI智能体研究常受限于单应用场景或人为构造的简单任务，而SynthUX Economy R5 W057通过模拟包含6家公司、不同角色员工的多公司经济体，提供了跨应用（终端、笔记、代码编辑器、浏览器、通讯软件、邮件、表格等）的复杂操作链条。这一架构支持研究人员探索长期依赖任务中的因果推理问题，以及不同操作系统下统一视觉表示策略的泛化能力，从而推动了计算机使用智能体向更真实、更复杂场景的适应性研究。

实际应用

在实际应用中，该数据集能够赋能企业自动化流程中智能员工助手系统的开发。例如，在财务审计或客户服务领域，基于该数据训练出的模型可以自动完成跨软件的数据提取、格式转换与报告生成，显著减少重复性人工操作。由于数据集涵盖了Slack/Teams等即时通讯工具与邮件、文档系统的交互，智能体还能实现通知驱动的自动化响应，优化团队协作效率。此外，多操作系统支持意味着该技术可直接部署在混合IT环境中，为企业提供统一的自动化底层能力。

数据集最近研究

最新研究方向

SynthUX Computer-Use数据集（economy sim r5）聚焦于多应用、多公司经济模拟下的图形用户界面（GUI）智能体行为轨迹研究。该数据集通过合成生成的方式，记录了模拟公司内不同角色在跨操作系统（macOS、Windows、浏览器）的桌面应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）中执行自然语言目标的完整操作序列，包括鼠标、键盘及脚本事件，并提供了视频和逐帧截图。这一方向紧密关联当前AI Agent在复杂数字工作流中的自主推理与执行能力研究，特别是在多应用协作环境中的零样本泛化、低层操作对齐与因果状态建模。该数据集的发布为评估GUI智能体在模拟经济生态中的决策鲁棒性、任务分解效率及跨平台适应性提供了高保真的基准，推动了从单一应用操作向全栈式企业级自动化的前沿探索。