jacob-valdez/synthux-economy-r1-w000

SynthUX计算机使用数据集（经济模拟r1）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成，模拟公司环境中的工作者会话。每个记录代表一个工作者的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。数据集支持应用原生的多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r1 is a grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架生成，聚焦于模拟公司内员工在图形用户界面环境中的计算机使用轨迹。每个记录对应一名工人在模拟公司中的设备会话：首先将自然语言目标分解为节点树，终端节点通过低层级鼠标和键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、演示文稿等），并记录观察到的完整轨迹，包括屏幕视频和各节点对应的帧图像。每个经济模拟场景作为独立的数据集仓库发布，本次构建涵盖6家公司、36条轨迹，涉及浏览器操作系统、macOS和Windows三种模拟环境。

使用方法

该数据集适用于训练和评估基于视觉的计算机使用代理模型，特别是在多应用协同工作场景下。使用者可通过加载data.jsonl文件获取每条轨迹的结构化记录，利用trajectory.input_events字段获取密集的低层级操作序列，结合trajectory.observations了解每个节点后的模拟器状态变化，以及借助media.video和media.frames进行视觉特征提取或行为重建。研究者可根据actor_id、company、role_id等元数据筛选特定角色或公司的会话，或在浏览器操作系统、macOS、Windows等不同模拟环境下比较模型性能差异。

背景与挑战

背景概述

SynthUX（Synthetic User Experience）于2024年由相关研究团队开发，旨在解决计算机使用环境中图形用户界面（GUI）代理的轨迹数据稀缺问题。该数据集通过模拟公司中多员工的工作场景，生成了基于视觉的计算机使用轨迹，涵盖了从自然语言目标到低层级鼠标、键盘操作的全流程。其核心研究问题聚焦于多应用、跨平台的GUI代理行为建模，为自主桌面自动化研究提供了可扩展、多样化的合成数据源。通过对经济模拟环境中的复杂工作流进行建模，SynthUX推动了GUI代理对真实办公场景的迁移学习能力，对计算机视觉与强化学习的交叉领域产生了显著影响。

当前挑战

该数据集主要应对以下挑战：首先，GUI代理领域长期缺乏大规模、标注一致的轨迹数据，真实设备录制成本高昂且隐私敏感，SynthUX通过合成生成解决了数据获取与多样性不足的问题。其次，多应用协作任务中存在跨平台（如macOS、Windows、浏览器）的异质性操作环境，以及模拟公司间经济系统的动态复杂性，构建过程中需确保低层级输入与高层级目标的可解释对齐。此外，合成数据到真实环境的泛化鸿沟、单次会话中节点的因果一致性保持，以及多员工角色间的行为差异性建模，均是构建中的关键难题。

常用场景

经典使用场景

在图形用户界面（GUI）智能体与多应用协同操作的研究领域中，SynthUX Economy R1 W000数据集为模拟大规模企业级桌面环境提供了无与伦比的实验平台。该数据集精心构建了涵盖六家虚拟公司、三十六条完整操作轨迹的仿真经济体系，每条轨迹均包含从自然语言目标到原子级鼠标/键盘操作的完整映射链。研究者可借助该数据集训练GUI智能体在错综复杂的多应用生态中自主导航，完成跨应用任务——例如在邮件客户端与电子表格间传递数据、通过Slack发送通知并同步更新文件系统——从而评估模型在真实桌面环境中的泛化能力与鲁棒性。其独有的多公司、多角色、多操作系统配置，使得跨组织协作场景的研究成为可能，为下一代通用计算机使用智能体的开发奠定了坚实基础。

解决学术问题

该数据集直面当前GUI智能体研究中的两大核心学术困境：其一，缺乏具备微观操作级标注和宏观目标层级结构的大规模多应用交互数据；其二，现有基准大多局限于单一应用或简化环境，无法反映现实企业工作流中的跨系统、跨平台协作复杂性。SynthUX通过引入因果观察机制（mutational channel = low_level_input），使研究者能够精确追踪每个输入事件对系统状态的影响，从而破解了端到端学习中的信用分配难题。此外，其多公司、多角色配置为研究组织行为学与群体智能提供了独特视角——例如，同一目标在不同角色（如财务分析师与市场经理）的操作路径中可能呈现截然不同的行为模式，为探索人类意图与界面交互之间的深层映射关系开辟了新路径。这些特性使得该数据集在自动化UI测试、逆向强化学习、以及人机协作建模等领域具有深远影响。

实际应用

在实际产业应用层面，SynthUX Economy R1 W000数据集为智能自动化工具的开发提供了可靠且逼真的训练与评估资源。企业级RPA（机器人流程自动化）系统可借助该数据集中的多应用操作链，学习如何在邮件、文档编辑器、浏览器及即时通讯工具间无缝串联业务流程，例如自动完成账单审批或客户信息跨平台同步。软件开发团队可利用其中的细粒度输入事件序列（input_events）与屏幕截图帧（frames），训练用于GUI测试的视觉语言模型，使其能够识别异常界面状态并自主执行回归测试。此外，该数据集所模拟的多公司经济场景可直接服务于金融科技、供应链管理等领域的数字孪生系统，使智能体在虚拟企业生态中演练资源调配与协作决策，从而在真实部署前规避潜在的操作风险与效率瓶颈。

数据集最近研究

最新研究方向

SynthUX经济模拟数据集代表了GUI代理研究领域的前沿突破，通过构建多应用、多公司在操作系统级别的真实桌面操作轨迹，为计算机使用智能体的训练与评估提供了前所未有的生态级基准。该数据集模拟了完整的企业经济环境，涵盖6家公司、跨平台（macOS/Windows/浏览器）的桌面操作，包含36条高保真轨迹及835帧细粒度屏幕截图，其核心创新在于实现了原生多应用协同执行与跨OS消息交互，而非传统的沙盒工作台叠加。这一方向与当前大语言模型驱动的自动化代理热潮紧密相关——从单一应用操作向复杂企业多模态工作流演进，SynthUX通过因果观测通道记录低层级鼠标/键盘事件，确保了情境理解的时空一致性，为构建能够自主完成跨应用商业任务（如财务规划、供应链协调）的下一代GUI代理奠定了数据基石，其意义在于推动AI从工具执行者向数字劳动力生态的范式跃迁。