jacob-valdez/synthux-economy-r4-w024

SynthUX计算机使用数据集（经济模拟r4）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内的工作者设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括：data.jsonl（每个渲染轨迹一条记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点在最后输入事件时的帧图像）和videos/<trajectory>.webm（完整屏幕录制）。记录模式涵盖轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、目标语言、节点树、输入事件、观察结果、对齐信息以及媒体文件。统计信息显示：本版本包含36个轨迹、36个视频、1159帧、6个公司，按环境分布为browser-os（12）、macos-web-next（12）、windows-web-next（12）。数据来源为SynthUX（synthux.multicompany.day.v1），观察结果是因果性的（突变通道为低级输入），捕获期间未使用高级应用突变。SynthUX Computer-Use Dataset — economy sim r4 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include: data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node taken at that nodes last input event), and videos/<trajectory>.webm (the full screen recording). Record schema covers trajectory_id, actor_id, company, role_id, title, env (simulator type), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media files. Stats for this build: trajectories: 36, videos: 36, frames: 1159, companies: 6, by env: browser-os (12), macos-web-next (12), windows-web-next (12). Provenance: Generated with SynthUX (synthux.multicompany.day.v1), observations are causal (mutation channel = low_level_input), and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，模拟了多公司经济体系中的计算机使用轨迹。每个记录对应一名员工在模拟公司中的设备会话，其自然语言目标被分解为节点树，终端节点通过低层级鼠标和键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack、邮件、表格、幻灯片等），并记录下完整的屏幕视频及节点级帧。数据集采用原生多应用执行模式，无需工作台覆盖层，确保交互的真实性。每个经济模拟独立发布为数据集仓库，本版本包含来自6家公司的36条轨迹，涵盖macOS、Windows及浏览器三种操作系统环境。

特点

数据集的核心特点在于其跨操作系统、多应用协作的仿真环境，以及基于角色的内容多样性。轨迹包含密集的低层级输入事件（鼠标、键盘、脚本）与因果性的模拟器状态观察，确保观察结果与输入动作严格对应。此外，每条轨迹均附带完整的屏幕录像（webm格式）和每个终端节点的PNG帧，便于可视化分析。数据集还提供了输入事件与节点ID的精确对齐信息，支持细粒度的行为建模与评估。

使用方法

数据集以JSON Lines格式提供，每条记录包含轨迹ID、参与者信息、操作系统环境、自然语言目标及完整的节点树结构。用户可通过`data.jsonl`文件访问所有轨迹，并利用`screenshots/`目录下的节点帧图和`videos/`目录下的屏幕录像进行视觉分析。记录中的`trajectory.input_events`字段提供了低层级事件序列（含毫秒级时间戳），而`trajectory.alignment`字段则建立了观察、事件与节点之间的对应关系，便于进行端到端的代理行为训练或评估。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 研究团队构建，发布于2024年，旨在为计算机使用场景下的图形用户界面（GUI）智能代理提供大规模的合成训练与评估数据。该数据集聚焦于多应用协同的经济模拟环境，通过模拟多个虚拟员工在不同公司与角色下的设备操作流程（如终端、浏览器、邮件、电子表格等），生成包含低层级鼠标与键盘事件的完整操作轨迹。其核心研究问题在于能否通过合成数据驱动具备跨应用、跨操作系统能力的视觉型GUI代理。该数据集的发布为领域开辟了从封闭单任务测试转向开放多应用、多角色经济仿真评估的新路径，对GUI代理在真实复杂工作流中的泛化研究具有重要推动作用。

当前挑战

当前领域面临的核心挑战在于如何使GUI代理在高度异构且动态变化的现实界面中稳定执行多步骤目标。SynthUX通过合成数据缓解了真实轨迹采集成本高、多样性不足的问题，但其构建过程中面临若干困难：一是如何保证每个虚拟员工在不同操作系统（macOS、Windows、纯浏览器）上产生符合角色与公司语境的操作多样性，避免数据同质化；二是在多应用并行与跨应用消息传递（如Slack与邮件）时，确保动作序列的因果一致性，防止状态污染。此外，低层级输入事件的密集记录与屏幕视频的高精度对齐增加了数据清洗与验证的复杂度。这些挑战的应对不仅提升了数据集的场景真实度，也为后续研究在数据驱动的GUI代理领域提供了可复现的基准与启示。

常用场景

经典使用场景

SynthUX Economy R4 W024数据集专为计算机使用代理（Computer-Use Agents）的研究而设计，其核心应用场景是多应用协同操作的环境模拟。该数据集通过构建真实的桌面模拟器环境，记录了工作人员在模拟公司中进行跨应用任务（如终端、笔记、代码编辑、浏览器、即时通讯、邮件、表格与幻灯片等）的完整操作轨迹。每条轨迹不仅包含自然语言描述的目标，还涵盖了从鼠标键盘的低阶输入事件到屏幕录像的高阶观察数据。因此，该数据集最经典的使用方式是在多应用、跨平台的操作环境中，训练和评估能够理解并执行复杂图形用户界面任务的智能代理，从而推动人机交互与自动化领域的前沿探索。

衍生相关工作

SynthUX数据集的发布催生了一系列重要的衍生工作。其开创性的多应用轨迹采集范式，启发了GUI代理领域的研究者进一步探索细粒度的任务对齐方法，例如基于节点树结构的层次化规划策略，以及利用屏幕帧序列进行因果状态建模。该数据集还被用作基准，验证了从低阶输入事件中端到端重建语义动作的有效性，推动了如ObsAct、ScreenAgent等后继模型的发展。此外，基于其提供的多公司经济模拟环境，已有学者开始研究代理在组织结构中的协作与竞争行为，衍生出诸如‘企业级计算机使用代理的模块化设计’和‘跨角色任务分解的可解释性评估’等前沿论题。这些工作共同丰富了智能人机交互的学术生态。

数据集最近研究

最新研究方向

SynthUX经济仿真数据集在图形用户界面（GUI）智能体领域开创了多应用、跨平台、多公司协同的合成轨迹生成范式。前沿研究方向聚焦于利用该数据集训练能够理解复杂企业级工作流的自主智能体，涵盖终端、代码编辑器、浏览器及通信工具等多模态桌面应用的原子级操作。其独特的多公司经济模拟架构（涵盖36条轨迹、6个虚拟公司）为评估智能体在跨操作系统（macOS/Windows/浏览器）、跨应用消息传递及角色化任务分解中的鲁棒性提供了标准化基准。当前热点包括基于该数据集的端到端视觉-动作策略学习、因果推理对齐技术，以及将仿真经济生态与真实企业数字化转型需求相衔接的研究，显著推动了从单一UI操作到组织级流程自动化的能力跃迁。