synthux-economy-r5-w050
收藏资源简介：
SynthUX Computer-Use Dataset (economy sim r5) 是一个合成多模态数据集，专为计算机使用与图形用户界面（GUI）智能体研究设计。它模拟了多公司经济环境下的工作者设备会话，旨在支持训练和评估能够执行跨应用程序、基于视觉的计算机任务的智能体。数据集的核心是“轨迹”，每条轨迹记录了一名模拟员工在模拟公司环境中，为完成一个自然语言描述的目标而进行的完整桌面交互过程。交互通过低级别鼠标和键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），整个过程被记录为屏幕视频，并辅以结构化日志。数据以多种形式提供：包括包含结构化元数据和事件日志的`data.jsonl`文件、存储每个终端交互节点截图的`screenshots/`目录，以及存储完整屏幕录制视频（WebM格式）的`videos/`目录。每条记录包含轨迹ID、参与者ID、所属公司、角色、模拟环境（macOS、Windows或浏览器OS）、自然语言目标、决策树、低级输入事件序列、模拟器观察状态等详细字段。本次构建（r5）包含36条独立轨迹，共1061个节点帧，涉及6家不同的模拟公司，轨迹分布在browser-os、macos-web-next和windows-web-next三种模拟环境中。数据由SynthUX工具生成，观察机制基于低级输入事件，确保交互轨迹的因果性和真实性。
The SynthUX Computer-Use Dataset (economy sim r5) is a synthetic multimodal dataset for computer use and graphical user interface (GUI) agent research. It simulates worker device sessions in a multi-company economic environment, aiming to provide data support for training and evaluating agents capable of performing cross-application, vision-based computer tasks. The core content is trajectories, each recording a complete desktop interaction process by a simulated employee in a simulated company environment to achieve a natural language-described goal. Interactions are driven by low-level mouse and keyboard inputs to real desktop simulator applications (e.g., terminal, notes, VS Code, browser, Slack/Teams, email, spreadsheets, slides), with the entire process recorded as screen videos and supplemented by structured logs. Data is provided in multiple formats: 1) `data.jsonl` files containing structured metadata and event logs for each trajectory; 2) `screenshots/` directory storing screenshots at the final input moment of each terminal interaction node; 3) `videos/` directory storing full screen recording videos (WebM format). Each record includes detailed fields such as trajectory ID, participant ID, company, role, simulation environment (macOS, Windows, or browser OS), natural language goal, decision tree composed of nodes (action, target, parameters), dense low-level input event sequences, causal observation states of the simulator after each node, and alignment information between observations, events, and nodes. This build (r5) contains 36 independent trajectories, totaling 1061 node frames, involving 6 different simulated companies. Trajectories are distributed across three simulation environments: browser-os (8), macos-web-next (11), and windows-web-next (17). Data is generated by the SynthUX tool, with observation mechanisms based on low-level input events, ensuring causality and authenticity of interaction trajectories.
数据集概述
- 数据集名称: SynthUX Computer-Use Dataset (economy sim r5)
- 许可证: Apache-2.0
- 任务类别: 其他（other）
- 标签: computer-use, gui-agents, synthetic, multi-application
数据集描述
该数据集包含由 SynthUX 生成的基于视觉的计算机使用轨迹。每条记录对应模拟公司中一名员工的设备会话：一个目标扩展为节点树，终端节点通过底层鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、电子表格、幻灯片等），并将观察到的轨迹记录为屏幕视频及每节点帧。
数据集特点包括：应用原生多应用执行（无工作台覆盖）、每个角色的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每次经济模拟作为独立的数据集仓库发布。
文件内容
data.jsonl— 每条渲染轨迹对应一条记录。screenshots/<trajectory>/<node_id>.png— 每个终端节点在其最后输入事件时刻的帧。videos/<trajectory>.webm— 完整的屏幕录制。
记录字段说明
| 字段 | 含义 |
|---|---|
trajectory_id |
唯一ID (<actor>__<env>) |
actor_id, company, role_id, title |
谁，属于哪个组织 |
env |
模拟器：macos-web-next / windows-web-next / browser-os |
goal |
会话的自然语言目标 |
tree.nodes |
角色的终端节点（surface, action, target, args） |
trajectory.input_events |
密集的底层鼠标/键盘/脚本事件，附带时间戳 t_ms |
trajectory.observations |
每个节点后的因果模拟器状态 |
trajectory.alignment |
将观察结果和输入事件范围链接到节点ID |
media.video |
屏幕录制（webm格式） |
media.frames |
每节点的PNG帧（node_id, t_ms, blob_ref） |
统计信息
- 轨迹数量: 36
- 视频数量: 36 · 帧数量: 1061
- 公司数量: 6
- 按环境分布：browser-os (8)，macos-web-next (11)，windows-web-next (17)
数据来源
使用 SynthUX (synthux.multicompany.day.v1) 生成。观察结果具有因果性（突变通道 = low_level_input）；捕获过程中未使用高级应用突变。
