jacob-valdez/synthux-economy-r2-w015

SynthUX计算机使用数据集（经济模拟r2）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内工人的设备会话：一个目标扩展成节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每个演员的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset (economy sim r2) is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

在图形用户界面（GUI）代理与多应用交互的研究领域中，SynthUX-economy-r2-w015数据集通过模拟企业经济环境构建了丰富的计算机使用轨迹。具体而言，每个记录对应一名员工在仿真公司内的设备会话，其中自然语言目标被拆解为节点树结构，终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟应用程序（如终端、笔记、代码编辑器、浏览器及通讯软件等）。整个执行过程依托应用原生多应用协作框架，摒弃工作台覆盖层，确保交互的真实性。该系统支持跨操作系统消息传递与多公司经济模拟，每个模拟场景独立发布为一个数据集仓库。

使用方法

该数据集的使用方法侧重于GUI代理研究与多应用工作流分析。用户可直接加载`data.jsonl`文件获取结构化的轨迹记录，每条记录包含从目标分解到低层级输入事件的完整信息。对于视觉分析，可访问`screenshots/<trajectory>/<node_id>.png`路径提取特定节点的屏幕帧，或通过`videos/<trajectory>.webm`文件获取全屏录制的操作视频。研究者可利用轨迹中的`tree.nodes`字段进行动作序列建模，借助`trajectory.input_events`实现细粒度行为分析，并通过`trajectory.alignment`字段将观察状态精准映射至对应节点，从而支持因果推理与代理性能评估等任务。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r2）诞生于多智能体系统与图形用户界面（GUI）自动化交汇的前沿领域，由研究团队基于SynthUX框架生成，旨在模拟企业级多应用协同办公场景。该数据集聚焦于经济模拟中的计算机使用轨迹，涵盖36条由虚拟员工在模拟公司内执行自然语言目标时产生的桌面操作记录，涉及浏览器、代码编辑器、通讯工具等多应用间的低层鼠标与键盘交互。其核心研究问题为如何构建具有因果一致性的、多角色、跨操作系统的GUI代理训练数据，为开发可泛化的计算机使用智能体提供可复现的基准。该数据集对GUI代理研究领域具有显著影响力，推动了从单任务演示向多公司、多应用、多角色经济生态的范式迁移。

当前挑战

该数据集所解决的领域挑战在于：GUI代理训练长期受限于封闭环境下的单应用轨迹，缺乏反映真实企业协作场景中多应用并行、角色分工与跨系统通信的复杂交互数据。构建过程中面临的挑战包括：1）在模拟公司中为每个虚拟员工生成兼具多样性与一致性的角色目标，确保经济模拟的可信度；2）设计低层输入事件（鼠标/键盘/脚本）到高层节点树的因果映射机制，避免操作遗漏或状态不一致；3）跨macOS、Windows及纯浏览器操作系统记录无覆盖层的原生应用执行轨迹，同时维持每节点帧与完整视频的同步对齐。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX-economy-r2-w015数据集为训练和评估能够执行复杂多步骤桌面任务的自主智能体提供了理想的测试平台。该数据集收录了模拟公司环境中36条完整的工人设备操作轨迹，每条轨迹都包含从自然语言目标到具体鼠标键盘输入的完整映射。研究者可以利用这些包含终端、浏览器、邮件、即时通讯等多种应用程序交织操作的记录，训练智能体理解跨应用的工作流逻辑，并测试其在真实桌面环境中的视觉感知与动作执行能力。

解决学术问题

该数据集有效解决了当前GUI智能体研究中面临的三个关键学术难题：多应用协同操作的涌现行为建模、细粒度输入轨迹与高层语义目标的对齐、以及跨平台（macOS、Windows、浏览器）操作环境的泛化能力。通过提供从自然语言目标分解为节点树，再映射到低层次鼠标键盘事件的完整因果链条，数据集为研究层次化任务分解、多模态感知与动作生成、以及跨应用状态追踪等核心问题提供了标准化的实验数据。这些数据支撑了学术界对可解释、可复现的桌面自动化智能体模型的深入探索。

实际应用

在实际应用层面，该数据集直接服务于企业级桌面自动化场景的智能体开发。例如，在财务审计场景中，智能体需要先通过邮件系统获取待审文档，再在浏览器中打开财务报表系统提取数据，最后将结果汇总到电子表格中——这一系列跨应用的连贯操作正是数据集所模拟的典型经济仿真任务。数据集提供的36条多公司环境下的真实操作轨迹，为开发能够处理跨应用、跨平台、多角色协作流程的RPA（机器人流程自动化）系统提供了训练基础，尤其适用于企业数字化转型中的复杂业务流程自动化需求。

数据集最近研究

最新研究方向

在GUI代理与多应用协同交互的前沿领域，该数据集聚焦于合成环境下的经济模拟场景，为计算机使用（computer-use）研究提供了高保真度的视觉轨迹数据。通过模拟多公司生态中的员工设备会话，数据集捕捉了终端、代码编辑器、浏览器及跨操作系统通讯等真实工作流，推动了从单一任务到多应用复合操作的代理能力跃迁。结合近期AI代理自主操作桌面应用的热点趋势，该资源不仅是验证多步骤、跨平台GUI代理鲁棒性的关键基准，更在合成数据生成与因果观测对齐上树立了新标准，为构建可规模化、具备经济模拟背景的智能体训练体系奠定了数据基础，对通用人工智能在实体经济中的部署具有深远意义。