jacob-valdez/synthux-economy-r3-w004

SynthUX计算机使用数据集（经济模拟版本r3）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内员工设备会话的轨迹：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察轨迹以屏幕视频和每个节点的帧形式记录。数据集支持应用原生多应用程序执行（无工作台覆盖），每个参与者内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据文件包括：data.jsonl（每个渲染轨迹的记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点的帧，取自该节点的最后一个输入事件）和videos/<trajectory>.webm（完整屏幕录制）。记录模式包含轨迹ID、参与者ID、公司、角色、标题、环境（模拟器类型）、自然语言目标、节点树、输入事件、观察结果、对齐信息以及媒体引用。统计信息显示：该构建包含36个轨迹、1025个帧、6个公司，环境分布为browser-os（16）、macos-web-next（10）、windows-web-next（10）。数据生成使用SynthUX（synthux.multicompany.day.v1），观察结果是因果性的（突变通道为低级输入），捕获过程中未使用高级应用程序突变。The SynthUX Computer-Use Dataset (economy sim r3) is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include: data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node, taken at that nodes last input event), and videos/<trajectory>.webm (the full screen recording). The record schema includes fields like trajectory_id, actor_id, company, role_id, title, environment (simulator type), goal, tree.nodes, trajectory.input_events, trajectory.observations, trajectory.alignment, and media references. Statistics for this build show: 36 trajectories, 1025 frames, 6 companies, distributed by environment as browser-os (16), macos-web-next (10), windows-web-next (10). Provenance indicates generation with SynthUX (synthux.multicompany.day.v1), with observations being causal (mutation channel = low_level_input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX系统生成，聚焦于模拟公司内部员工的桌面操作轨迹。每个记录对应一名工作者在虚拟企业环境中的完整设备会话，系统将自然语言目标解析为节点树结构，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用，如终端、记事本、VS Code、浏览器及办公套件等，从而记录下包含屏幕视频与各节点帧的完整操作轨迹。数据采集遵循因果性原则，仅依赖低级输入通道进行状态突变，确保了轨迹的原始性与真实感。

使用方法

用户可从HuggingFace仓库直接下载包含轨迹记录、截图与视频的压缩包。每条轨迹以JSON格式存储，包含目标描述、操作节点树、输入事件序列及媒体资源引用。研究人员可通过解析`data.jsonl`文件获取结构化轨迹数据，利用`screenshots`目录中的帧图像进行视觉特征分析，或直接播放`videos`目录下的全屏录影以观察完整操作流程。该数据集适用于GUI代理训练、人机交互行为建模及多应用工作流理解等研究任务。

背景与挑战

背景概述

SynthUX-Economy-R3-W004数据集由SynthUX研究团队于近期创建，旨在解决图形用户界面（GUI）代理领域中的多应用协同与跨环境交互问题。该数据集以模拟公司内员工设备操作为核心，通过合成方式生成包含完整桌面模拟器应用（如终端、浏览器、办公套件等）的低层级鼠标与键盘操作轨迹，并结合屏幕视频与帧级截图提供视觉-动作对齐的标注。围绕“经济模拟”场景，数据集覆盖6家公司、36条轨迹和1025帧图像，展现了多企业、多操作系统（macOS、Windows、Browser OS）环境下的复杂人机交互模式。其发布为计算机视觉与智能代理研究提供了高保真的多应用控制基准，推动了GUI自动化领域的实证进展。

当前挑战

该数据集面临的核心挑战包括：其一，GUI代理领域长期缺乏具备多应用协作、跨操作系统与原生执行环境（非工作台覆盖层）的合成轨迹数据，限制了代理在实际企业场景中的泛化能力；其二，构建过程中需在低层级输入事件与高层级目标（如自然语言任务）之间建立精确的因果映射，同时确保每个终端节点的屏幕帧与动作序列的时空对齐；此外，大规模多公司经济模拟要求生成多样化的角色、组织与通讯内容（如Slack/Teams消息），以避免单一代入偏差，这对数据规模和多样性控制提出了极高要求。

常用场景

经典使用场景

SynthUX-economy-r3-w004数据集专为多应用、多代理的图形用户界面（GUI）智能体研究而设计，其最经典的使用场景聚焦于模拟复杂的企业级办公环境。研究人员利用该数据集训练和评估能够跨多个桌面应用程序（如终端、浏览器、邮件客户端、即时通讯工具及办公套件）自主执行任务的GUI智能体。每个数据记录均包含一个虚拟员工在模拟公司内完成特定自然语言目标的完整操作轨迹，涵盖了跨平台、跨应用的鼠标键盘交互，为构建能够在真实数字工作空间中无缝协作的智能体提供了高保真的训练与测试基准。

解决学术问题

该数据集有效解决了计算机视觉与自然语言处理交叉领域中，关于多步长、多应用GUI任务规划与执行的学术难题。传统研究多聚焦于单一应用内的简单操作，而SynthUX通过引入多公司、多角色的仿真经济体系，为探索多智能体协作、任务分解与冲突消解等复杂问题提供了结构化数据支撑。其因果性记录方式确保了观察与低层输入之间的严格对齐，从而助力学术研究深入剖析智能体决策的可解释性、鲁棒性以及对动态环境变化的适应能力，推动了从封闭式基准测试向开放式、生态化智能体评估范式的转变。

实际应用

在实际应用中，SynthUX数据集赋能了一系列旨在提升企业数字化运营效率的系统开发。例如，基于该数据集训练的GUI智能体可被部署为虚拟助理，自动执行跨应用的数据录入、报表生成、邮件分发以及会议日程协调等繁琐任务，从而显著降低员工在重复性事务上的时间消耗。此外，该数据集还支持自动化测试工具的研发，模拟真实用户操作流以验证软件界面的功能完整性与用户体验一致性，为金融、制造及科技行业中大规模软件生态系统的质量保障提供了可复现的脚本化测试资源。

数据集最近研究

最新研究方向

SynthUX Economy R3 W004数据集聚焦于多应用协同的桌面图形界面代理行为模拟，通过构建虚拟公司经济生态，记录员工在Terminal、VS Code、Slack等真实应用间的低层级鼠标键盘操作轨迹。该研究前沿方向在于探索GUI代理在跨应用、跨操作系统（macOS/Windows/浏览器）的复杂业务流程中的自主决策能力，尤其关注同公司多角色、多设备间的信息传递与协作模式。此举突破了传统单一应用测试的局限，为具身智能体在真实企业环境中的落地提供了高保真基准，并推动了多智能体经济模拟这一热点领域的发展。