jacob-valdez/synthux-economy-r5-w011

SynthUX计算机使用数据集（经济模拟r5）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内一个工作人员的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset (economy sim r5) is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

在图形用户界面智能体的研究领域中，大规模、真实的交互轨迹数据是训练高效模型的基础。SynthUX 数据集通过模拟企业环境中的设备会话构建而成。具体而言，每个记录对应一名工作者在模拟公司内部的完整操作流程：一个自然语言目标被展开为节点树，终端节点通过底层的鼠标与键盘输入驱动真实桌面模拟器应用，如终端、笔记、代码编辑器、浏览器及办公套件等。整个交互过程被捕捉为屏幕视频与逐帧快照，确保了数据的地面真实性。经济模拟以多公司、多角色为背景，每个模拟版本作为独立数据集发布。

特点

该数据集的核心特点在于其原生多应用执行能力，摒弃了工作台覆盖层的干扰，真实反映了跨操作系统的消息传递与协作场景。每个经济模拟均包含六家不同公司内的36条轨迹，跨越macOS、Windows及浏览器三种操作系统环境，提供了丰富的视觉与操作多样性。每条轨迹均包含密集的低级输入事件、因果模拟器状态及节点对齐信息，支持对GUI代理行为的细粒度分析。数据通过SynthUX系统生成，观察结果严格基于低级输入突变通道捕获，确保了因果链的纯净性与可靠性。

使用方法

数据集以标准格式发布，便于研究者直接集成至模型训练与评估流程。主要文件包括data.jsonl，其中每条记录对应一条渲染轨迹，内含轨迹ID、角色信息、环境类型、自然语言目标及完整的节点树与输入事件序列。屏幕截图按轨迹组织存储于screenshots目录，每节点一张PNG帧；完整屏幕录制以WebM格式存放于videos目录。研究者可通过解析JSONL加载结构化数据，结合图像与视频素材，训练GUI智能体从视觉观测到操作序列的映射能力，或用于评估代理在复杂多应用场景下的规划与执行性能。

背景与挑战

背景概述

SynthUX-economy-r5-w011数据集由SynthUX生成，于2025年发布，专注于计算机视觉领域的图形用户界面（GUI）代理研究。该数据集由多机构合作创建，核心研究问题在于模拟多应用、跨操作系统环境下的视觉计算机使用轨迹，以推动GUI代理在实际桌面场景中的泛化能力。通过记录模拟公司内员工在终端、代码编辑器、浏览器等多种应用中的鼠标键盘操作，数据集为理解人类-计算机交互中的视觉决策提供了大规模、结构化的训练与评估素材，在自动化办公、软件测试等领域具有重要影响力。

当前挑战

该数据集面临的挑战包括：1) 解决领域问题方面，现有GUI代理多局限于单一应用或固定环境，缺乏对跨应用、多步骤、长尾任务的支持，SynthUX通过引入多公司经济模拟和随机化内容生成，提升了代理在动态、复杂桌面场景中的泛化能力；2) 构建过程中，需保证轨迹的因果一致性（仅通过低层输入驱动状态变化），避免高层应用接口的干扰，同时平衡不同操作系统（macOS、Windows、浏览器）的模拟精度与数据采集效率，以及处理密集的屏幕录制与帧标注带来的存储与计算开销。

常用场景

经典使用场景

SynthUX-Economy-r5-w011数据集巧妙地将模拟企业经济生态与图形用户界面智能体学习相融合，为研究者提供了一个多应用、跨平台的桌面操作轨迹集合。每一份记录都承载着虚拟公司员工在模拟器中的完整操作序列，从自然语言目标出发，经由节点树分解为具体的鼠标与键盘动作，最终在终端模拟器、代码编辑器、即时通讯软件、邮件客户端等真实应用上留下可观测的轨迹。该数据集的经典使用场景在于训练和评估能够理解并执行多步骤计算机操作任务的GUI智能体，尤其适合探索智能体在复杂企业环境中协同完成经济相关任务的能力，为多应用协同的自主操作研究奠定了坚实的数据基础。

衍生相关工作

基于SynthUX-Economy-r5-w011数据集的独特设计，已孕育出一系列富有启发性的经典工作。研究者利用其细粒度的事件对齐特性，开发了面向GUI智能体的因果行为模型，能够在因果图中追溯操作序列与目标完成度的关联。另有工作将该数据集作为多应用轨迹多样性评估的基准，对比不同节点分解策略对智能体执行效率的影响。数据集中跨OS通讯和企业经济模拟的特色，也催生了探讨智能体在组织任务优先级与资源分配中表现的实证研究。此外，结合仿真器提供的观测状态，衍生出的工作尝试将低层输入事件转化为高层语义动作，推动了从演示到策略的转化技术发展，为未来自主操作智能体的能力边界拓展提供了方法论支持。

数据集最近研究

最新研究方向

SynthUX Economy R5数据集聚焦于多应用协同的图形用户界面（GUI）智能体研究，其前沿方向在于模拟真实企业环境中跨操作系统、多角色协作的复杂桌面操作轨迹。通过记录终端、浏览器、办公套件等应用的原生交互数据，该数据集为训练能够理解并执行多步骤、跨应用任务的计算机使用智能体提供了坚实基础。当前热点事件包括企业级自动化与通用GUI代理的兴起，该类数据集的发布对于推动从单一任务到多公司经济模拟的泛化能力研究具有里程碑意义，有望显著提升智能体在真实工作流中的实用性与鲁棒性。