jacob-valdez/synthux-economy-r5-w048

SynthUX Computer-Use数据集（economy sim r5）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录模拟一个工人在公司环境中的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一条记录）、截图（每个轨迹的每个终端节点帧）和视频（完整屏幕录制）。记录模式包括轨迹ID、参与者ID、公司、角色ID、标题、模拟器环境、自然语言目标、节点树、输入事件、观察状态、对齐信息以及媒体引用。此版本包含36个轨迹、6家公司、980帧，环境分布为browser-os（6个）、macos-web-next（14个）和windows-web-next（16个）。数据使用SynthUX生成，观察基于因果模拟（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。The SynthUX Computer-Use Dataset (economy sim r5) is a grounded visual computer-use trajectory dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse and keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. It includes data.jsonl (one record per rendered trajectory), screenshots (frames per terminal node for each trajectory), and videos (full screen recordings). The record schema covers trajectory_id, actor_id, company, role_id, title, env (simulator), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media references. This build contains 36 trajectories, 6 companies, 980 frames, with environments distributed as browser-os (6), macos-web-next (14), and windows-web-next (16). Generated using SynthUX, observations are causal (mutation channel = low_level input), and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

本数据集由 SynthUX 框架在模拟多公司经济环境中自动生成。每个记录对应一名虚拟员工在模拟公司内的设备会话，自然语言目标被逐级展开为节点树，终端节点通过低层级鼠标和键盘操作驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件客户端、电子表格和演示文稿等）。整个操作轨迹以屏幕视频与逐节点帧图像的形式完整记录，所有观测均为因果型，仅通过低层级输入通道实现状态变更，未引入高层应用突变。

特点

该数据集的核心特点在于其原生多应用并行执行机制，摒弃了常见的工作台覆盖层干扰，每个参与者生成的内容具有高度多样性，并支持跨操作系统的消息交互，同时构建了包含多家公司的复杂经济生态系统。本批次版本包含36条完整轨迹、980帧图像、6家不同公司，覆盖macOS、Windows和纯浏览器三种模拟环境，每条轨迹均附带完整的低层级输入事件序列、因果状态快照以及帧与节点之间的精确对齐信息。

使用方法

数据集以JSON Lines格式提供核心记录，每行包含轨迹唯一标识符、参与者与公司信息、模拟环境类型、自然语言目标描述、终端节点结构以及完整的输入事件序列和因果状态观测。对应的屏幕视频以WebM格式存储于videos目录下，逐节点PNG帧图像则按轨迹分组存放于screenshots目录。研究者可直接加载data.jsonl文件进行结构化解析，通过节点ID关联对应的帧图像，并结合输入事件时间戳与观测状态进行细粒度的GUI代理行为分析与建模。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r5）由SynthUX团队于近期创建，专注于模拟多公司经济环境下的图形用户界面（GUI）智能体交互行为。该数据集的核心研究问题在于如何通过合成数据生成方法，捕捉并记录人类与桌面操作系统（如macOS、Windows及浏览器OS）的复杂交互轨迹，涵盖跨应用程序（如终端、代码编辑器、邮件、电子表格等）的多步操作流程。数据集由包含多家虚拟公司的大型经济模拟生成，每个工作站会话记录为完整的屏幕视频和关键帧截图，为训练能够理解并执行多应用协同任务的GUI智能体提供了逼真且结构化的视觉行为基准。其对计算社会科学、人机交互及自主代理领域的影响在于，首次将真实经济组织架构与合成视觉交互数据相结合，填补了跨应用复合任务轨迹数据的空白。

当前挑战

该数据集所解决的领域问题主要围绕GUI智能体在复杂多步骤任务中的泛化能力瓶颈：现有模型通常局限于单一应用程序内的操作，而现实企业场景要求代理能在邮件、代码编辑器、浏览器等多个应用间无缝切换与协作。构建过程中面临多重挑战，首先是如何在无外部干预（如高级API）的纯底层输入通道（鼠标/键盘事件）上生成因果一致的轨迹，确保每次操作状态变迁的可复现性；其次是为每个员工角色设计多样化的组织身份（公司、职位）和目标内容，以避免合成数据单一化；最后是跨操作系统（macOS、Windows、浏览器）的界面差异协调，以及高分辨率屏幕帧的实时采集与存储优化，最终在36条轨迹中实现了980帧的视觉数据密度，验证了大规模经济模拟数据生成管线的可行性。

常用场景

经典使用场景

在经济模拟的复杂生态中，SynthUX Computer-Use Dataset 为多应用图形用户界面（GUI）智能体的研究提供了基石。该数据集通过模拟公司内不同角色的设备会话，生成了包含自然语言目标、底层鼠标键盘操作记录以及完整屏幕视频的轨迹数据。其经典使用场景聚焦于训练和评估能够跨应用程序（如终端、浏览器、邮件、Slack等）完成复杂任务的GUI智能体，尤其是在多公司、多操作系统环境下的协同操作，从而推动计算机使用自动化的发展。

实际应用

在实际应用中，该数据集可赋能企业级自动化助手，例如部署于模拟公司中的智能体能够自主完成从撰写代码、编辑文档、管理邮件到跨部门协作的全流程任务。其视频和帧级别的记录还可用于开发无障碍软件辅助工具，帮助视障用户通过语音或简化指令操作复杂桌面系统。此外，该数据集的因果状态记录特性，使其在软件测试领域具有潜力，能自动生成多步骤业务逻辑的测试用例，提升软件开发的效率与可靠性。

衍生相关工作

该数据集的发布催生了一批聚焦于多应用任务规划与底层控制的工作。研究者在其基础上开发了层次化策略网络，利用树状节点结构将高层目标分解为可执行的原子动作序列。同时，基于其对齐信息，衍生出跨模态（视频、帧、事件）的表示学习方法，用于提升智能体对GUI状态变化的感知能力。此外，由于其包含了多公司经济背景，一些工作开始探索个性化智能体训练，即依据不同角色标题与公司文化微调模型行为，为自适应人机协作系统铺平了道路。