jacob-valdez/synthux-economy-r3-w016

SynthUX计算机使用数据集（经济模拟r3）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：一个目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含数据文件（data.jsonl）、每个终端节点的截图（screenshots/）和完整屏幕录制视频（videos/）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、媒体文件等字段。此构建版本包含36个轨迹、906帧、6家公司，环境分布为browser-os（13个）、macos-web-next（14个）和windows-web-next（9个）。数据生成来源为SynthUX（synthux.multicompany.day.v1），观察结果是因果的（突变通道为低级别输入），在捕获过程中未使用高级别应用程序突变。SynthUX Computer Usage Dataset (Economic Simulation r3) is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker within a simulated company: a target is expanded into a node tree, where terminal nodes drive real desktop simulator applications such as terminals, Notes, VS Code, browsers, Slack/Teams, email clients, spreadsheets, slides, etc. via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and frames corresponding to each node. This dataset supports native multi-application execution per application (no workspace overlay), content diversity across participants, cross-OS messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset includes data files (data.jsonl), screenshots of each terminal node (stored in the screenshots/ directory), and full screen recording videos (stored in the videos/ directory). The record schema includes fields such as trajectory ID, participant information, environment, target, node tree, input events, observations, media files, and more. This build contains 36 trajectories, 906 frames, and 6 companies, with environment distributions of browser-os (13 instances), macos-web-next (14 instances), and windows-web-next (9 instances). The data generation source is SynthUX (synthux.multicompany.day.v1), and the observations are causal (the mutation channel is low-level inputs), with no high-level application mutations used during the capture process.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX系统，旨在模拟真实企业环境中的图形界面计算机操作轨迹。构建过程围绕模拟公司内虚拟员工的设备操作会话展开：每个会话中，一个自然语言目标被分解为节点树，终端节点通过低层级鼠标与键盘输入驱动桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），从而生成可观测的操作轨迹。每个轨迹记录为完整的屏幕视频及对应节点帧，且所有观测均基于因果模拟状态，确保输入事件的真实性。数据集采用多公司经济模拟架构，每次模拟独立发布，本版本包含6家模拟公司的36条轨迹、906帧图像及36个视频文件，覆盖macOS、Windows及浏览器三种操作系统环境。

特点

作为面向图形界面代理的合成数据集，其核心特点在于原生多应用协同执行（无工作台覆盖层）与跨操作系统消息交互，显著提升了内容多样性与生态拟真度。每条轨迹均包含细粒度的低层级输入事件（带毫秒级时间戳）、因果模拟器状态快照，以及链接观测与节点ID的对齐信息，为代理学习提供了丰富的感知-动作对应数据。此外，数据集内设多公司经济模拟结构，不同角色（如actor、公司、职位）的差异化目标促使轨迹呈现出情境多样性，有效规避了单一模板化数据偏差。

使用方法

该数据集以HuggingFace标准格式发布，使用便捷：核心数据文件data.jsonl包含每条轨迹的完整结构（含轨迹ID、用户角色、环境类型、目标文本、节点树及输入事件序列），同步提供screenshots目录下的PNG帧图像与videos目录下的WEBM全屏录像。研究者可直接通过jsonl解析工具加载轨迹元数据，并搭配帧图像与视频进行多模态代理训练或评估。值得注意的是，数据集采用Apache-2.0许可证，支持工业与学术自由使用，同时可扩展至自定义模拟场景，为图形界面代理的视觉-动作协同研究提供可复现的基础设施。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集由SynthUX团队于2024年创建，专注于模拟多公司经济体系中的计算机使用行为。该数据集通过生成grounded视觉计算机使用轨迹，每条记录代表模拟公司内一名员工的设备会话，涵盖从自然语言目标到低层鼠标/键盘输入的全过程。SynthUX的核心研究问题在于探索多应用、跨操作系统环境下的GUI代理行为，其影响力体现在为计算机视觉与智能代理领域提供了高保真的合成数据资源，推动了对复杂人机交互场景的建模研究。

当前挑战

该数据集面临的挑战是多层次的。首先，在领域问题层面，SynthUX致力于解决GUI代理在真实计算机环境中的行为模拟难题，包括多应用协同操作、跨平台一致性及动态内容多样性，这些复杂交互场景对现有代理模型构成显著挑战。其次，在构建过程中，主要难点包括：确保模拟数据的因果一致性，仅通过低层输入驱动应用状态变化；实现多公司、多角色、多操作系统（macOS/Windows/浏览器）的规模化仿真；以及生成高密度、带时间戳的输入事件与屏幕录制数据，以支持细粒度轨迹分析。

常用场景

经典使用场景

在计算机视觉与智能代理研究领域，SynthUX-economy-r3-w016数据集为多应用、多平台的图形用户界面（GUI）代理训练与评估提供了高度逼真的合成轨迹数据。该数据集通过模拟企业员工在真实操作系统环境中的设备会话，记录了包括终端、文本编辑器、浏览器、即时通讯工具、邮件客户端及办公套件在内的跨应用操作行为，并以屏幕视频和逐节点帧的形式呈现。其经典使用场景聚焦于训练能够理解复杂GUI交互、执行多步任务并适应不同操作系统（macOS、Windows、浏览器OS）的端到端智能代理，是弥合合成数据与真实桌面自动化之间鸿沟的关键资源。

实际应用

在实际产业应用中，该数据集可支撑企业级桌面自动化系统的研发，例如为财务部门批量处理跨应用对账报表的智能代理提供训练素材，或赋能客服系统在模拟企业网络中自主完成邮件回复、日历调度与文档协作。此外，金融科技公司可借助其中的经济模拟特性，测试代理在敏感数据环境下的合规性操作；软件测试领域也能利用这些精细的鼠标键盘事件序列自动化复现跨平台缺陷，大幅提升回归测试的覆盖率与效率。这些应用共同指向一个趋势：合成轨迹数据正在成为非侵入式、高保真地验证人机协作系统鲁棒性的重要基础设施。

衍生相关工作

该数据集的发布催生了若干衍生研究方向：一是基于其结构化节点树与因果对齐标签，发展了GUI代理行为的可解释性分析方法，推动了从黑箱决策向透明化操作链的学术探讨；二是借鉴其多公司经济模拟架构，研究者构建了更大规模的合成交互图谱，用于预训练基础模型在未见应用组合上的泛化能力；三是依托其跨平台视频与帧数据，衍生出基于视觉语言模型的无监督轨迹聚类工作，为发现不同企业间通用的高效操作模式提供了新视角。这些工作共同印证了SynthUX系列数据的催化作用——它不仅是基准测试的静态集合，更是驱动计算社会科学与智能体对齐研究协同进化的动态引擎。