jacob-valdez/synthux-economy-r5-w082

SynthUX计算机使用数据集（经济模拟r5）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内员工设备会话的轨迹：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），每个参与者内容具有多样性，包含跨操作系统消息传递，并模拟大型多公司经济。每个经济模拟作为独立的数据集仓库发布。数据集内容包括data.jsonl（每个渲染轨迹一条记录）、screenshots（每个终端节点的帧，在节点的最后一个输入事件时捕获）和videos（完整屏幕录制）。记录模式涵盖轨迹ID、参与者ID、公司、角色ID、标题、环境（模拟器类型）、目标、树节点、轨迹输入事件、轨迹观察、轨迹对齐以及媒体（视频和帧）。统计信息显示本构建包含8个轨迹、8个视频、153个帧和5个公司，所有环境均为browser-os。数据来源为SynthUX，观察是因果的（突变通道为低级输入），捕获过程中未使用高级应用程序突变。The SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots (a frame per terminal node, taken at that nodes last input event), and videos (the full screen recording). The record schema includes fields such as trajectory_id, actor_id, company, role_id, title, env (simulator type), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media (video and frames). Stats for this build show 8 trajectories, 8 videos, 153 frames, 5 companies, all with env browser-os. Provenance indicates generation with SynthUX, where observations are causal (mutation channel = low_level_input) and no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，专注于生成基于图形用户界面的计算机使用轨迹。构建过程模拟多公司经济环境中的工作者设备会话：为每个工作者分配一个自然语言目标，该目标被分解为节点树，终端节点通过低层级鼠标与键盘操作驱动真实桌面模拟器应用，包括终端、笔记、代码编辑器、浏览器、通讯软件、办公套件等。完整执行过程被记录为屏幕视频及每个终端节点的静态帧，所有观测均为因果序列，通过低层级输入通道记录，未使用高级应用层突变，确保了轨迹的真实性与细粒度。

特点

该数据集的核心特征在于其原生多应用执行模式，摒弃了传统的覆盖式工作台方法，实现了跨操作系统的消息传递与多公司经济生态的模拟。每个记录包含丰富的结构化字段，例如工作者身份、公司归属、角色与目标，以及密集的低层级输入事件时间序列和因果模拟器状态。数据集包含36条轨迹、972个帧和6个虚拟公司，覆盖macOS、Windows及纯浏览器三种操作系统环境，展示了在复杂多应用场景下的高度内容多样性与可扩展性。

使用方法

数据集以JSON Lines格式存储于`data.jsonl`文件中，每条记录对应一个渲染轨迹，包含轨迹ID、工作者信息、环境类型、自然语言目标、节点树及完整的输入事件序列。屏幕截图按`<trajectory>/<node_id>.png`路径组织，完整屏幕录像则以WebM格式存放于`videos/`目录。使用者可遍历JSON记录以获取轨迹元数据与事件序列，结合图像与视频帧进行视觉-行为对齐分析，适用于训练GUI代理模型或研究跨应用计算机使用行为模式，数据集的Apache-2.0许可便于学术与商业应用。

背景与挑战

背景概述

SynthUX Economy R5 W082数据集诞生于2024年，由SynthUX研究团队构建，旨在为计算机视觉与GUI智能体领域提供高质量的合成训练数据。该数据集聚焦于多应用协作的桌面环境模拟，通过模拟虚拟公司中员工的设备操作轨迹（如终端、编辑器、浏览器及办公软件），系统性地研究复杂人机交互过程中的视觉推理与决策问题。每个记录均包含完整的屏幕视频、分帧截图及低层级输入事件，为GUI智能体的行为规划与状态追踪提供了细粒度的基准数据。作为首个大规模、多公司经济模拟的计算机操作数据集，它为跨平台、跨应用的通用智能体训练开辟了新路径，对自动化办公、软件测试及人机协作研究具有重要推动价值。

当前挑战

该数据集面临的核心挑战在于解决多应用环境下的视觉推理与动作序列规划难题，即如何让智能体在动态的图形界面中理解复杂任务目标（如跨应用数据传递、多步骤业务流程），并生成高效、无错误的操作轨迹。构建过程中，研究者需克服合成数据与真实环境之间的分布差异——确保模拟的鼠标/键盘输入行为、界面响应延迟及跨系统通信（如macOS与Windows间消息传递）的保真度，同时避免因简化操作逻辑导致智能体泛化能力下降。此外，大规模经济模拟中的内容多样性（如公司角色、目标变体）与数据标注成本之间的平衡，以及低层级事件流到高层级任务意图的对齐映射，也是数据构建的显著难点。

常用场景

经典使用场景

在数字人机交互与智能代理研究的前沿领域，真实、细粒度的计算机使用轨迹数据集始终是推动技术突破的稀缺资源。SynthUX Economy R5 W082 数据集应运而生，它通过模拟多公司经济体中的员工工作流程，提供了涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多应用协同场景的完整屏幕操作记录。该数据集的经典使用场景聚焦于训练和评估图形用户界面（GUI）智能代理。研究者可以利用其中密集的鼠标和键盘输入事件、帧级截图以及全屏视频，开发能够理解复杂用户界面、执行跨应用任务并遵循自然语言指令的自主代理。其特有的多公司、多角色设定，使得模型能够学习在不同组织架构和身份下，面对多样化工作目标时的策略性操作模式，从而提升代理的泛化能力与现实适应性。

衍生相关工作

SynthUX Economy R5 W082 数据集的发布，催生并促进了多个密切相关的研究方向。基于其丰富的轨迹数据，研究者已开发出多种面向 GUI 的视觉语言模型微调范式，旨在将预训练模型适配到特定界面的操作理解中。该数据集也为多智能体协作训练提供了宝贵素材，衍生出研究团队如何通过共享工作台与异步消息进行联合任务求解的分布式学习框架。在动作抽象领域，一系列工作利用该数据集的层次化节点树结构（goal → node → action），探索从底层鼠标键盘事件向高层语义意图的自动映射算法。此外，该数据集还激发了关于 GUI 操作安全性研究的兴趣，相关工作包括基于因果序列建模的异常操作检测模型，以及防止代理执行危险命令的约束机制。这些衍生工作共同构筑了一个围绕细粒度计算机使用轨迹的活跃学术生态。

数据集最近研究

最新研究方向

随着多智能体系统与图形用户界面自动化研究的深度融合，SynthUX经济模拟数据集应运而生，开创性地模拟了企业级多应用协作场景下的桌面代理行为。该数据集通过合成轨迹记录了模拟公司内员工在终端、代码编辑器、浏览器、邮件及即时通讯等原生多应用环境中的低层次人机交互，并结合跨操作系统消息传递与大规模多公司经济体系，为构建和评估具备跨应用任务编排能力的GUI代理提供了高度逼真的训练与评测基准。其最新研究聚焦于利用因果观察链与细粒度节点树结构，探索代理在复杂工作流中的决策可解释性、鲁棒性及泛化能力，对推动下一代智能办公助手与自动化生产力工具的发展具有重要意义。