jacob-valdez/synthux-economy-r5-w037

SynthUX计算机使用数据集（经济模拟版本r5）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工作者在模拟公司内的设备会话：目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS代码、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。该数据集支持应用程序本地的多应用程序执行（无工作台覆盖），每个参与者内容具有多样性，包括跨操作系统消息传递，并模拟大型多公司经济环境。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer Usage Dataset (Economic Simulation Version r5) is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker within a simulated company: Goals are expanded into node trees, where terminal nodes drive real desktop emulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, spreadsheets, and slides) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos along with the frames corresponding to each node. This dataset supports local multi-application execution (no workspace overlay), features diverse content for each participant including cross-operating-system messaging, and simulates large-scale multi-company economic environments. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

本数据集源自SynthUX框架，通过模拟多公司虚构经济环境中的工作者设备会话构建而成。每个记录对应一个完整的桌面操作轨迹，系统将自然语言目标分解为节点树，终端节点驱动原生桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格及幻灯片等）执行底层鼠标与键盘输入。捕捉过程全程记录屏幕视频与逐节点帧图像，确保轨迹的因果可追溯性。数据采用真实应用跨应用执行模式，摒弃工作台覆盖层干预，每个经济模拟以独立数据集仓库形式发布。

特点

该数据集的核心特色在于其原生多应用执行能力与角色化内容多样性。36条轨迹覆盖6家模拟公司，横跨macOS、Windows及浏览器三种操作系统环境，展现了跨平台输入事件的异质性。每条轨迹包含密集的底层输入事件序列、节点级因果状态快照及完整屏幕录像，帧图像数量达985张。通过actor身份分属不同公司与角色，确保了操作意图与界面的多样对应关系，特别适合多应用协同场景下的图形用户界面代理研究。

使用方法

数据集通过三个核心媒介提供访问路径：主数据文件data.jsonl存储结构化的轨迹元数据，包括目标描述、节点结构与输入事件时间戳；screenshots目录按轨迹为组织单位存放终端节点PNG帧图；videos目录提供完整屏幕录制视频。用户可依据节点对齐字段将输入事件段与视觉观测匹配，用于训练或评估GUI代理的感知与规划能力。资源以标准JSON格式与WebM编码发布，便于直接集成至机器学习流水线或可视化分析工具中。

背景与挑战

背景概述

在计算机使用（Computer-Use）与图形用户界面（GUI）智能体研究领域，构建能够模拟人类在真实桌面环境中完成复杂多应用交互的数据集是一项前沿挑战。SynthUX Computer-Use（economy sim r5）数据集由SynthUX团队于近期构建，专注于生成多公司经济仿真背景下的视觉化计算机操作轨迹。其核心研究问题在于：如何通过低层级鼠标与键盘操作，在模拟组织内（涵盖终端、代码编辑器、浏览器、即时通讯、办公套件等多应用场景）实现从高层目标到可执行节点树的分解与执行。该数据集以每个工作者的设备会话为单元，记录了全屏幕视频及每帧快照，为多应用协同、跨操作系统通讯及大规模多公司经济环境下的GUI智能体研究提供了宝贵的因果仿真资源，对领域内可复现的桌面自动化研究具有重要推动力。

当前挑战

当前数据集面临的主要挑战包括：首先，领域问题层面，传统GUI智能体研究多局限于单一应用或叠加工作台，难以处理真实世界中多应用原生执行、跨平台消息传递及动态经济实体间的复杂交互。SynthUX虽通过模拟公司内部经济系统突破此局限，但仿真规模仍有限（36条轨迹、6家公司），且环境覆盖macOS、Windows及浏览器操作系统，如何扩展至更广泛的企业级工作流与硬件异构性仍是关键难题。其次，构建过程中，从高层目标到终端节点的自动分解任务充满不确定性，需保证内容多样性（如不同角色与标题）与操作因果性（低层级输入事件序列>仅依赖高层API），同时避免了高等级应用变异带来的状态干扰。此外，大容量屏幕视频与帧图像的存储、索引与解析对计算资源与算法效率提出了持续优化需求。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究中，SynthUX数据集为多应用协同办公场景下的计算机使用轨迹提供了宝贵资源。该数据集通过模拟公司内部员工在真实桌面环境中的操作流程，记录了从自然语言目标到低层级鼠标键盘输入的完整轨迹，特别适用于训练和评估能够跨应用执行复杂任务的GUI智能体。其独特之处在于覆盖了多个操作系统环境（macOS、Windows、浏览器OS），并包含跨应用消息传递和多公司经济模拟，为研究多应用协同操作、任务分解与执行等经典问题提供了标准化的基准测试平台。

实际应用

在实际应用中，SynthUX数据集可直接服务于企业办公自动化领域，助力开发能够模拟员工完成跨应用工作流的AI助手。例如，基于该数据训练的智能体可自动执行财务报表整理、跨平台数据迁移、会议纪要生成与分发等典型办公任务，显著提升工作效率。其多操作系统兼容性和多公司经济模拟的特性，使得智能体能够在异构的数字环境中灵活适应不同组织的业务流程。此外，该数据集还可用于桌面端自动化测试工具的训练，帮助识别软件交互中的操作瓶颈与流程优化空间，为商业化数字员工产品的迭代提供关键支持。

衍生相关工作

基于SynthUX数据集的发布，学术界和工业界衍生出了一系列经典研究工作。在表示学习方面，研究者利用其低层级输入事件序列探索视觉感知与操作动作之间的对齐模型，发展了更鲁棒的GUI交互表征。在任务规划领域，该数据集的节点树结构启发了分层强化学习方法，用于将高层目标自动分解为可执行的子任务序列。在多智能体协同方向，数据中跨公司、跨角色的操作记录被用于研究智能体之间的通讯协议与协作策略。此外，其因果观测机制促使了可控轨迹生成与反事实推理方法的涌现，进一步拓展了合成数据在交互式智能体研究中的应用边界。