jacob-valdez/synthux-economy-r4-w048

SynthUX计算机使用数据集—经济模拟r4是一个基于SynthUX生成的视觉计算机使用轨迹数据集，专门用于模拟公司环境中的计算机交互。每个记录代表一个工人在模拟公司内的设备会话，其中目标被扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。观察到的轨迹以屏幕视频和每个节点的帧形式记录。数据集支持应用原生多应用执行（无工作台覆盖），具有每个参与者内容多样性、跨操作系统消息传递以及大规模多公司经济模拟特点。每个经济模拟作为独立的数据集仓库发布。数据集包含JSONL格式的数据记录、每个轨迹的截图帧和完整屏幕录制视频。The SynthUX Computer Usage Dataset – Economic Simulation R4 is a SynthUX-generated visual computer usage trajectory dataset specifically designed to simulate computer interactions within corporate environments. Each record represents a device session of a worker in a simulated company, where targets are expanded into node trees, and terminal nodes drive real desktop emulator applications (including Terminal, Notes, VS Code, browsers, Slack/Teams, Mail, Sheets, Slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and frames corresponding to each node. The dataset supports native multi-application execution (no workspace overlay), and boasts content diversity per participant, cross-operating system messaging, and large-scale multi-company economic simulation capabilities. Each economic simulation is released as an independent dataset repository. The dataset contains JSONL-formatted data records, screenshot frames for each trajectory, and full screen recording videos.

搜集汇总

数据集介绍

构建方式

在计算经济学与自主智能体交互的交叉领域，SynthUX-economy-r4-w048数据集应运而生，专为研究图形用户界面（GUI）代理在复杂商业环境中的行为而设计。其构建方式匠心独运：通过模拟多公司经济体，为每位虚拟工作者分配与角色相符的天然语言目标，该目标经递归分解为节点树，最终由终端节点驱动真实的桌面模拟器应用（如终端、代码编辑器、浏览器、通讯软件及办公套件等），通过低层级的鼠标与键盘输入自动执行。全程设备会话被录制为屏幕视频与逐节点帧图像，所有观察均通过底层输入通道因果记录，摒弃了高层应用接口的干预，确保了轨迹的真实性与可复现性。

特点

该数据集最显著的特点在于其原生多应用执行模式，无工作台覆盖层干扰，实现了跨操作系统消息通信与公司间经济交互的逼真模拟。每一条轨迹都蕴含丰富的结构化信息：从角色身份、公司归属到环境类型（macOS、Windows或纯浏览器OS），从密集的低层级输入事件流到因果模拟器状态快照，再到节点与事件的精准对齐链接。本次发布包含36条轨迹、998帧图像，覆盖6家虚拟公司，三种操作系统环境分布均衡，为GUI代理的泛化能力研究提供了极具价值的基准。

使用方法

研究人员可通过加载根目录下的data.jsonl文件获取每条轨迹的核心元数据与事件序列，其中包含天然语言目标、角色信息及完整的节点树结构。高清屏幕录像存储于videos目录下的WebM格式文件中，供视觉分析；逐节点帧图像则按轨迹与节点ID组织在screenshots文件夹内，便于提取关键帧。结合trajectory字段中的密集输入事件流与因果观察状态，可开展从动作预测到多步骤任务规划等多种下游实验。建议使用Python的json库解析数据记录，并配合OpenCV或PIL库处理图像与视频，以复现代理决策过程。

背景与挑战

背景概述

SynthUX Computer-Use（economy sim r4）数据集诞生于多智能体协同与图形用户界面（GUI）自动化研究的前沿，由研究团队于近年来构建，专注于解决AI在现实桌面环境中的多应用操作能力。该数据集模拟了一个包含多家公司的经济生态系统，记录了36条完整的视觉计算轨迹，涵盖macOS、Windows及浏览器操作系统，由低层鼠标/键盘事件驱动，跨越终端、笔记、代码编辑器、浏览器、通讯软件及办公套件等多种应用。其核心研究问题在于如何生成高保真、可重放的桌面操作序列，以训练GUI智能体能像人类工作者一样在多应用间流畅协作。通过对六家公司、不同角色的工作会话进行细致标注，该数据集为计算机使用（Computer-Use）领域提供了第一个原生多应用、跨平台的经济模拟基准，推动了从单任务到多任务、从孤立应用到交互生态的研究范式转变，对开发自主办公助手的AI系统具有重要影响。

当前挑战

该数据集领域面临的核心挑战包括：首要应对的是GUI智能体在多应用、跨平台真实环境中的泛化能力不足，传统数据集多局限于单一应用或静态截图，难以涵盖复杂经济模拟中如跨OS消息传递、多公司协作等动态交互；其次，构建过程中需解决低层事件序列与高层语义目标之间的鸿沟，即如何从稀疏的鼠标/键盘输入中精确反推用户意图，并在36条轨迹中保证每节点事件的对齐与帧同步。此外，数据生成依赖SynthUX框架的因果模拟，需确保无高级应用变异干扰，这要求环境状态必须通过原始输入通道严格演化，增加了模拟系统的工程复杂度。同时，多屏幕录制与近千张PNG帧的存储管理也带来了规模化和质量控制的难题，尤其是在不同操作系统间保持行为一致性，以支撑可复现的智能体训练评估。

常用场景

经典使用场景

在通用计算机智能体研究领域，SynthUX Economy模拟数据集为评估和训练图形用户界面（GUI）智能体提供了高度逼真的多应用交互环境。经典使用场景聚焦于经济模拟场景下的跨应用任务执行，即在一个虚拟企业中，智能体需要根据自然语言描述的目标，自主操控终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与幻灯片等桌面级应用，通过低层级的鼠标与键盘操作完成复杂工作流。每个任务轨迹均包含完整的屏幕视频、节点级帧以及密集的输入事件序列，可全面捕获智能体的决策过程与环境反馈。该场景特别适合检验智能体在真实操作系统级的多应用协同、跨消息协议通信以及长序列任务规划中的表现，为计算机使用能力的量化评估奠定坚实基础。

衍生相关工作

此数据集衍生了若干重要的研究方向与经典工作。在因果推理与状态建模领域，研究者可基于其对齐信息探索低层级输入事件与高层级任务状态之间的因果关系，设计更精细的推断方法以理解智能体的失误来源。在多智能体协作方向，多个公司角色并行生成的任务轨迹为研究跨实体通信与资源争用下的协同决策提供了天然语料。此外，视频与帧级视觉数据的结合孕育了从视觉演示中逆向推导操作语义的工作，例如自动生成可执行的跨应用宏指令。数据集的多操作系统特性也催生了关于界面迁移学习的基准实验，推动构建能在不同桌面环境下通用的基础操作模型。这些工作共同拓宽了交互式人工智能在真实软件生态中的边界。

数据集最近研究

最新研究方向

该数据集聚焦于合成经济模拟环境中的多应用GUI代理轨迹生成，代表了计算机使用自动化领域的前沿方向。通过模拟真实公司场景中的多任务操作，包含终端、浏览器、办公软件等跨应用交互，为研究多步骤、多界面、多目标的复杂任务执行提供了结构化数据。当前研究热点集中于利用此类数据集训练能够自主完成跨应用工作流的视觉语言模型，以推动企业级自动化助手的发展。其意义在于填补了多公司、多角色、多操作系统环境下细粒度操作轨迹数据的空白，为评估和提升GUI代理在真实经济模拟中的鲁棒性与泛化能力建立了基准。