jacob-valdez/synthux-economy-r4-w031

SynthUX计算机使用数据集—经济模拟r4，由SynthUX生成的基于视觉的计算机使用轨迹。每条记录代表一个工作者在模拟公司环境中的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每个节点的帧。支持应用原生多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4: Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. Features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX系统，旨在捕捉计算机使用场景中的图形界面交互轨迹。其构建方式别具匠心：每位工作者在模拟公司内部执行特定目标，目标被逐层拆解为节点树，终端节点驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），通过低层级的鼠标与键盘输入完成操作。整个交互过程被录制为屏幕视频，同时每个终端节点对应的帧也被截取保存。数据生成遵循因果原则，仅依赖低层级输入突变，确保轨迹的纯净与可复现性。每条记录包含一个完整的设备会话，涵盖从目标设定到执行完成的全流程。

使用方法

使用该数据集时，研究人员可依据`data.jsonl`文件中的记录进行检索，每条记录包含唯一的轨迹标识符、所属角色与环境信息。对应的屏幕截图存储在`screenshots/`目录下，按轨迹与节点ID组织，而全屏录像则存放于`videos/`目录。通过解析每条记录中的`tree.nodes`字段，可获取终端节点的表层、动作、目标及参数信息；`trajectory.input_events`提供了密集的时间戳事件序列，便于进行行为复现或分析。数据集的JSON schema清晰定义了各字段含义，用户可便捷地将其导入自定义工作流，用于训练或评估图形界面代理模型。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队打造，于研究人员探索图形用户界面（GUI）代理能力时期诞生，聚焦于多应用协同操控这一前沿课题。该数据集通过模拟企业经济环境，生成了36条涵盖12种职业角色、6家虚拟公司的可视化计算机使用轨迹，每条轨迹包含完整的屏幕录像与细粒度操作节点。其核心研究问题在于如何让GUI代理在复杂多应用场景下完成自然语言目标驱动的低层级交互，为评估与训练跨平台、多应用的自主代理提供了基准。该数据集的影响力体现在其首创的multi-application执行范式与无工作台覆盖的纯净观测，推动了计算机使用领域从单任务到多任务、从模拟到真实环境的过渡。

当前挑战

该数据集所解决的领域挑战包括：一、GUI代理在真实桌面环境中面临的多应用协同难题，如跨应用数据流转、操作时序依赖与系统级状态管理，现有方法往往局限于单一应用或受限模拟器；二、构建过程中需模拟高度多样化的用户行为与内容，避免轨迹同质化，同时保证低层级事件（鼠标、键盘）与高层级目标的一致性。具体挑战体现在：如何生成覆盖macOS、Windows及浏览器三大平台的36条异质轨迹，并确保每帧画面与操作事件的因果对齐；如何设计多公司经济体以使角色、任务与上下文自然变化，避免数据偏见。此外，causal观测机制要求仅通过低层级输入驱动状态变化，排除了应用内高层API的捷径，大幅提升了数据采集的工程复杂度与真实性要求。

常用场景

经典使用场景

在人工智能与计算系统交叉的研究前沿，SynthUX Economics R4数据集为多应用计算机使用行为的建模提供了宝贵资源。该数据集记录了模拟公司中工作人员在多种桌面应用间的完整操作轨迹，包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件和办公套件等。其经典使用场景聚焦于训练和评估能够理解复杂多步骤任务的GUI智能体，这些智能体需通过低层级鼠标键盘输入在真实模拟器环境中完成自然语言描述的目标。通过观察连续屏幕视频和逐节点帧图像，研究者可以深入解析智能体在跨应用交互中的规划、执行与纠错能力。

解决学术问题

该数据集有效解决了学术界在多应用协同操作智能体研究中面临的三大挑战：缺乏包含完整屏幕录制和细粒度事件的真实模拟轨迹、难以获取跨操作系统和通信平台的一致性标注数据、以及现有数据集中任务目标与执行过程的结构化关联不足。通过提供由节点树解构的任务层级、36条涵盖6家公司角色的轨迹以及因果状态观察，SynthUX Economics R4使得研究者能够系统性地探究智能体在复杂工作流程中的决策机制。其意义在于开创了模拟多公司经济环境中计算机使用行为的研究范式，为开发具备上下文理解、任务分解和多应用协调能力的通用型GUI智能体奠定了数据基础。

实际应用

在实际工业场景中，SynthUX Economics R4数据集的轨迹记录可直接服务于企业级自动化办公系统的开发。例如，通过分析员工在浏览器、邮件和即时通讯工具间的操作模式，可以构建能够自动完成财务报销、跨部门协作审批和客户信息管理等日常任务的智能助手。此外，该数据集支持的操作系统异构特性（macOS与Windows模拟器并存）使其适用于跨平台自动化测试工具的研发，帮助软件质量保障团队建立更接近真实用户行为的回归测试用例。在职业培训领域，基于数据集的轨迹视频和节点帧可用于生成交互式教学材料，指导新员工快速掌握多应用协同工作流程。

数据集最近研究

最新研究方向

该数据集聚焦于多应用协同办公场景下的图形用户界面智能体（GUI Agent）研究，通过模拟跨公司经济体系中的真实计算机操作轨迹，为复杂多任务环境中的自主决策和视觉理解提供数据支撑。其前沿方向包括：利用合成数据驱动的高保真屏幕录制与低层级输入事件序列，探索智能体在真实桌面应用（如终端、浏览器、邮箱）间的连续操作能力；以及结合多公司经济模拟与演员角色多样性，研究跨组织协作中的上下文感知与动态规划，推动从单一工具调用向多应用、多用户生态演进的自主智能体范式。