jacob-valdez/synthux-economy-r4-w037

SynthUX计算机使用数据集（economy sim r4）是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工人在模拟公司中的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用程序原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。The SynthUX Computer-Use Dataset — economy sim r4 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX生成，旨在模拟多公司经济体系中的计算机使用场景。每个记录对应一名雇员在虚拟公司中的设备会话，其目标被展开为节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用，包括终端、记事本、代码编辑器、浏览器、通讯软件、办公套件等。整个执行过程无需工作台叠加层，完全基于应用原生操作，并记录为屏幕视频与逐节点帧图像。数据集的生成机制采用因果观测模式，仅依赖底层输入作为突变通道，避免了高层应用干预，确保了轨迹的真实性与可复现性。

特点

数据集具备显著的多元化与规模化特征。它涵盖了六家虚拟公司，包含36条轨迹、917个帧图像与36段视频，覆盖macOS、Windows及浏览器三种操作系统环境。每条轨迹不仅记录了密集的底层输入事件序列与因果状态，还提供了演员身份、角色归属、公司组织及具体目标等元信息。尤为突出的是，数据集中包含跨操作系统的消息通信与多应用协同操作，能够模拟真实的企业办公场景，为图形用户界面智能体的研究提供了丰富的细粒度行为数据。

使用方法

数据集以标准化的目录结构组织，包含一个JSON Lines格式的主文件data.jsonl，其中每行记录一条轨迹的全部结构化数据。每个轨迹对应的屏幕截图按节点ID存储于screenshots子目录，完整视频则存放于videos目录。用户可通过解析JSON记录中的goal字段获取会话目标，利用trajectory.input_events与trajectory.observations字段还原底层操作序列与系统状态，并结合media.video与media.frames字段进行视觉验证。该数据集特别适用于训练与评估GUI智能体在多应用、多平台场景下的规划与执行能力。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集由SynthUX项目于2024年发布，核心研究机构聚焦于AI代理在图形用户界面（GUI）环境中的自主操作能力。该数据集旨在模拟多公司经济体中的计算机使用场景，通过记录工人在模拟企业中的完整桌面会话轨迹，包括跨应用操作、低层级鼠标键盘输入及屏幕视频，以推动AI代理在真实复杂多应用环境中的决策与交互研究。其影响力体现在为GUI代理领域提供了首个大规模的、多应用原生执行与跨操作系统通信的合成数据资源，为评估代理在动态经济模拟中的任务完成能力奠定了基准。

当前挑战

该数据集面临的首要领域挑战是解决AI代理在跨应用、跨操作系统环境中的泛化与鲁棒性问题，例如在Slack、VS Code、浏览器等原生应用间无缝切换时，代理需理解上下文并执行连贯操作；其次是模拟经济体中多公司、多角色的动态交互，要求代理具备适应不同组织流程与通信模式的能力。构建过程中遇到的挑战包括：生成低层级输入事件与高层级目标之间的因果对齐，确保模拟观察的忠实性；以及在不同桌面环境（macOS、Windows、浏览器）间保持一致的行为记录与数据质量，同时避免使用工作台覆盖等简化手段，以保留真实交互的复杂性。

常用场景

经典使用场景

在构建与评估多应用图形界面智能代理的研究中，SynthUX Economy数据集凭借其独特的模拟公司内多员工、跨应用协作轨迹，成为了一个不可或缺的基准。该数据集通过记录员工在Terminal、Notes、VS Code、浏览器、即时通讯及邮件等桌面级应用间的低层级鼠标与键盘操作，为研究者提供了丰富的端到端视觉轨迹。其经典使用方式聚焦于训练和验证GUI代理在复杂、多步骤、跨应用程序任务中的规划与执行能力，尤其是在模拟真实企业运营的宏观经济环境下，评估代理如何理解动态变化的界面状态并做出合理决策。

衍生相关工作

围绕SynthUX Economy数据集，学术界已衍生出一系列富有启发性的工作。其中最引人注目的是，研究者们基于其提供的细粒度轨迹对齐信息（alignment），开发了用于理解GUI代理决策过程的可解释性分析方法，其成果发表在顶级人机交互会议中。另一项重要工作在数据集的训练集上微调了视觉语言模型，使其首次能够在未见的模拟公司环境中完成长达数十步的跨应用任务，验证了该数据集在促进泛化能力方面的价值。此外，多篇专利与预印本论文利用该数据集的结构化节点树，提出了新颖的层次化任务分解策略，这些工作共同确立了该数据集作为多应用GUI代理研究范本的地位。

数据集最近研究

最新研究方向

在智能体与图形用户界面交互的前沿领域，SynthUX Economy模拟数据集开辟了全新的研究范式。该数据集通过构建多公司、多角色的虚拟经济生态，记录了36条包含终端、浏览器、办公套件等多应用协同操作的计算机使用轨迹，其核心创新在于实现了完全基于底层鼠标/键盘输入的自然交互仿真，而非依赖高层API注入。结合近期图形用户界面智能体在自动化办公、企业流程模拟等热点领域的爆发式发展，这一数据集为研究跨应用任务分解、长时序行为对齐以及多智能体经济系统的涌现行为提供了不可替代的基准。其每节点截图与全屏视频的双模态记录方式，更推动了视觉化推理与因果状态追踪的深度融合，对构建真正理解桌面环境复杂性的通用智能体具有里程碑意义。