jacob-valdez/synthux-economy-r1-w005

SynthUX计算机使用数据集是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成，专注于经济模拟（版本r1）。每个记录代表一个工作者在模拟公司内的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每个演员内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use (economy sim)数据集通过模拟多公司经济体系下的员工设备操作轨迹构建而成。每个记录对应一名工作者在模拟公司内的桌面会话，其目标被转化为节点树结构，终端节点驱动真实的桌面模拟器应用（如终端、记事本、VS Code、浏览器、即时通讯、邮件、表格处理等），通过低层级的鼠标与键盘输入执行操作。整个轨迹以屏幕视频和每个节点对应的帧图像形式被完整记录，数据生成过程中保持了因果一致性，仅通过低层级输入变更状态，未使用高层级应用注入。

特点

该数据集具备应用原生多任务执行能力，无需工作台叠加层即可在真实模拟器环境中操作，并实现了跨操作系统（macOS、Windows、浏览器）的界面交互与消息通信。其核心特色在于多公司经济体系的模拟，每个参与者拥有独立的角色、职位与组织归属，内容生成具备高度多样性。数据集包含36条完整轨迹、921帧图像及对应视频，覆盖6个模拟公司环境，提供了从高层面目标到低层级输入事件的全链路对齐信息。

使用方法

数据集以标准格式发布，主文件为data.jsonl，每条记录包含轨迹唯一标识符、参与者身份、环境类型、自然语言目标、节点树结构以及密集的低层级鼠标键盘事件序列。用户可通过运行economy_sim_preview.py或economy_sim_preview.ipynb脚本浏览数据，其中screenshots目录按轨迹组织存放各终端节点的PNG帧图像，videos目录提供完整的WEBM格式屏幕录像。研究人员可利用结构化字段（如trajectory.input_events、trajectory.observations、trajectory.alignment）进行GUI代理行为分析、任务规划与桌面自动化等领域的模型训练与评估。

背景与挑战

背景概述

随着图形用户界面（GUI）自动化和智能代理技术的快速发展，如何在复杂多应用环境中生成真实、多模态的计算机操作轨迹成为关键研究问题。SynthUX Computer-Use数据集由研究团队于2024年通过SynthUX框架构建，旨在模拟企业内部员工在多个桌面应用程序（如终端、代码编辑器、浏览器、即时通讯工具等）间协作完成目标的真实场景。该数据集以模拟经济体系为背景，收录了36条操作轨迹、921帧屏幕截图及完整录屏视频，涵盖macOS、Windows及浏览器等不同操作系统环境。其核心创新在于通过低层级鼠标与键盘事件生成因果观察，避免了高级应用突变带来的偏见，为GUI代理研究提供了高保真、多角色、跨组织的实验基准，对智能体在真实办公场景下的决策与泛化能力评估具有重要推动意义。

当前挑战

该数据集旨在应对双重挑战。在领域问题层面，现有GUI代理数据集多局限于单应用或简化任务，无法反映真实办公场景中多应用协作、跨平台通信及动态目标分解的复杂性；SynthUX通过模拟多公司经济生态，逼真再现了用户权限差异、应用间数据流转及异步消息响应等关键挑战，迫使代理学习长期规划与上下文切换能力。在构建过程中，团队需解决合成轨迹的因果一致性问题，即确保每一帧屏幕状态仅由低层级输入事件驱动，避免高层API注入的虚假观测，同时平衡600+企业角色的内容多样性、模拟高保真度与数据规模之间的张力，最终实现了36条高质量轨迹的生成，为后续大范围实验奠定了基础。

常用场景

经典使用场景

SynthUX Economy R1 W005 数据集为多应用协同的图形用户界面（GUI）智能体研究提供了高质量的合成轨迹数据。其经典使用场景涵盖企业级办公自动化，例如模拟员工在终端、代码编辑器、浏览器、邮件客户端及即时通讯工具之间执行复杂任务，如跨平台数据整理、多渠道信息同步与文档协作。每条轨迹包含完整的屏幕录像、逐帧图像及底层鼠标键盘事件，使研究者能够训练和评估基于视觉与交互的GUI智能体，推动端到端任务规划与执行的基准测试。

衍生相关工作

围绕该数据集衍生的经典工作包括多智能体协作框架的构建，如从单员工轨迹扩展到群体协同的仿真系统。研究者可基于其多公司异构环境设计跨组织通信协议，衍生的研究方向涵盖低层交互表示学习、任务分解策略对比以及视觉一致性评估。此外，其因果观测特性催生了智能体行为可解释性分析的相关工作，为GUI自动化安全性与鲁棒性研究奠定基础。

数据集最近研究

最新研究方向

在GUI代理与多应用协同操作的前沿探索中，SynthUX经济模拟数据集为计算机使用轨迹研究开辟了新的范式。该数据集通过模拟企业环境内多角色、跨平台的桌面交互（涵盖终端、浏览器、办公套件及通信工具），生成包含低层级鼠标/键盘事件与屏幕录制的细粒度轨迹。其核心突破在于呈现了多公司经济体系下的跨OS消息传递与角色多样性，为研究大语言模型驱动的智能体在真实世界多应用场景中的决策能力、环境适应性与安全对齐提供了关键基准。当前36条轨迹与921帧数据虽规模有限，却标志着从单一任务模拟迈向复杂社会经济系统仿真的重要跃迁，有望推动人机交互、自动化工作流及AI安全性评估的交叉创新。