jacob-valdez/synthux-economy-r5-w036

SynthUX计算机使用数据集——经济模拟r5，是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每条记录代表一个工作人员在模拟公司环境中的设备会话：目标被扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use (economy sim) 数据集的构建源于一种创新的合成数据生成范式。它以模拟公司为背景，每个记录对应一名员工在受控桌面环境中的操作会话。首先，一个自然语言目标被展开为一棵行为节点树，终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟应用，涵盖终端、笔记、代码编辑器、浏览器及办公套件等。整个操作轨迹被记录为屏幕视频与逐节点帧图像。值得注意的是，该生成过程基于因果观察机制，仅依赖低层级输入变异通道，而非高层级应用变异。

特点

该数据集最显著的特征在于其模拟真实组织架构的多公司经济系统——每个轨迹均包含员工所属公司、角色与职位，且不同操作系统环境（macOS、Windows、浏览器）交叉存在，确保了内容的高度异质性。36条轨迹、820帧图像与6个公司的规模，虽有限却足以支撑跨应用、跨平台的行为分析。更关键的是，其“无工作台覆盖”的原生多应用执行模式，突破了以往合成数据集中单一应用局限，为图形用户界面智能体的研究提供了更贴近现实的训练与评估素材。

使用方法

使用时，可直接从 data.jsonl 文件中读取每条轨迹的完整元数据，包括轨迹标识符、智能体身份、目标及行为树结构。对于视觉信息，可通过 screenshots 目录按轨迹与节点ID获取对应帧图像，或通过 videos 目录访问全屏录制视频。每个节点均与输入事件范围及观察状态相关联，便于对齐行为与屏幕反馈。研究人员可据此构建智能体训练数据或评估基准，尤其适合探索跨应用、多步骤的计算机操作任务，亦可用于模拟企业环境中的自动化工作流分析。

背景与挑战

背景概述

近年来，图形用户界面（GUI）智能体在自动执行计算机操作任务方面取得了显著进展，但现有数据集多聚焦于单一应用或简化环境，难以捕捉真实世界中跨应用、跨操作系统的工作流复杂性。在此背景下，SynthUX项目于2025年由相关研究团队创建，旨在通过大规模合成仿真生成高保真的计算机使用轨迹数据。该数据集以经济模拟（economy sim）为核心，模拟了一个多公司、多角色的虚拟企业环境，其中每位工作者在桌面操作系统（macOS、Windows、浏览器）上执行自然语言目标驱动任务，生成包含鼠标、键盘等低级输入事件的完整轨迹。SynthUX数据集的独特价值在于其原生多应用协作（如VS Code、Slack、Sheet、浏览器等）与跨组织消息交互，为训练和评估能够理解复杂工作流的GUI智能体提供了高度逼真的场景，推动了人机交互与强化学习领域的交叉研究。

当前挑战

当前数据集面临的核心挑战体现在两大层面。在领域问题层面，GUI智能体研究长期受困于从简化设置向真实多应用环境迁移的瓶颈，SynthUX虽通过合成仿真模拟了跨公司经济生态，但其轨迹多样性仍受限于预设脚本的规模，难以覆盖真实用户操作中不可预测的认知决策与异常处理。在数据集构建层面，挑战尤为显著：首先，生成过程中需平衡低层输入事件的密度（每个轨迹包含数千个鼠标/键盘事件）与可伸缩性，以避免数据冗余或关键信息丢失；其次，跨操作系统仿真（browser-os、macos-web-next、windows-web-next）带来了界面渲染差异与输入协调的复杂性，需确保各环境下的动作对应关系一致；最后，存储与标注开销极大——当前数据集含36条轨迹、820张帧图及对应视频，但扩展至更大经济规模时，如何高效管理异构资源（如时间对齐的帧序列与结构化事件日志）并保证因果观测的完整性，成为制约数据规模增长的关键技术瓶颈。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域，SynthUX Economy R5 W036数据集为构建和评估多应用计算机操作智能体提供了重要的基准平台。该数据集的核心价值在于其模拟了真实企业环境中多个员工在跨操作系统（macOS、Windows、浏览器）上使用多种桌面应用（如终端、记事本、VS Code、浏览器、即时通讯、邮件、表格、幻灯片等）完成复杂目标的完整轨迹。每个轨迹不仅包含自然语言描述的目标，还记录了详细的底层鼠标和键盘输入事件、时序状态以及屏幕视频，使得研究者能够训练智能体理解从高层意图到低层执行的完整映射，尤其适用于研究多步骤、多应用协同操作的智能体规划与泛化能力。

衍生相关工作

该数据集的发布催生了一系列具有影响力的学术与工程工作。在方法论层面，基于SynthUX轨迹数据的研究工作探索了如何利用密集的底层输入事件（鼠标移动轨迹、键盘敲击序列）来增强智能体对环境变化的感知能力，衍生出将视觉观测与动作序列进行因果对齐的自监督学习方法。在模型架构层面，该数据集的帧级别粒度（每个终端节点对应一张截图）推动了从视频到动作的离散化表征学习，相关工作尝试将屏幕截图序列编码为结构化记忆，以支持长期依赖的跨应用任务规划。此外，数据集中的多公司经济模拟设定还激发了关于经济博弈场景下多智能体策略学习的研究，研究者利用其丰富的角色交互数据（如不同公司员工间的消息、邮件往来）来训练能够理解组织间协作规范的对话智能体与决策智能体。

数据集最近研究

最新研究方向

随着多模态大语言模型与图形用户界面（GUI）智能体的深度融合，计算机使用（Computer-Use）领域正迎来一场从单一任务执行向复杂、多应用协作场景演进的范式变革。SynthUX经济模拟数据集（economy sim r5）正是在这一前沿浪潮中应运而生，它通过模拟多公司、多角色的企业级操作环境，生成了包含低层级鼠标键盘事件、屏幕视频及节点帧的细粒度轨迹数据。该数据集突破了传统GUI智能体依赖单一应用或固定工作流的局限，将研究焦点拓展至跨应用、跨操作系统的智能体协同与内容多样性生成。这一方向与近期业界对大规模、多智能体仿真系统（如AutoGen、CrewAI）的热切关注相呼应，为评估和训练具备真实办公场景理解、动态决策与错误恢复能力的下一代GUI智能体提供了至关重要的数据基础设施，有望推动智能体从实验室沙盒走向真实世界的生产力工场。