jacob-valdez/synthux-economy-r5-w080
收藏资源简介：
SynthUX计算机使用数据集（经济模拟r5）是一个基于SynthUX生成的视觉计算机使用轨迹数据集。每个记录模拟一个员工在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用原生多应用执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据包括JSONL格式的记录、每个轨迹的截图帧和完整屏幕录制视频。
The SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include JSONL records, per-node screenshot frames, and full screen recordings.
数据集概述
- 数据集名称: SynthUX Computer-Use Dataset — economy sim r5
- 数据集地址: https://hf-mirror.com/datasets/jacob-valdez/synthux-economy-r5-w080
- 任务类型: Other
- 模态: Image
- 格式: imagefolder
- 数据集大小: 1K - 10K 行，总计文件大小 320 MB
- 标签: computer-use, gui-agents, Synthetic, multi-application
- 许可证: apache-2.0
数据集内容与结构
该数据集包含由 SynthUX 生成的图形化计算机使用轨迹，每条记录代表模拟公司中一个工作人员的设备会话。
数据集内容
data.jsonl: 每条渲染轨迹的记录。screenshots/<trajectory>/<node_id>.png: 每个终端节点在其最后一次输入事件时的帧图像。videos/<trajectory>.webm: 完整的屏幕录制视频。
记录模式 (Record schema)
| 字段 | 含义 |
|---|---|
trajectory_id |
唯一标识 (<actor>__<env>) |
actor_id, company, role_id, title |
工作人员身份与所属组织信息 |
env |
模拟器类型 (macos-web-next / windows-web-next / browser-os) |
goal |
会议的自然语言目标描述 |
tree.nodes |
参与者的终端节点 (包含 surface, action, target, args) |
trajectory.input_events |
密集的低级鼠标/键盘/脚本事件，附带时间戳 t_ms |
trajectory.observations |
每个节点后的因果模拟器状态 |
trajectory.alignment |
将观察结果和输入事件范围链接到节点ID |
media.video |
屏幕录制 (webm 格式) |
media.frames |
每个节点的 PNG 帧 (包含 node_id, t_ms, blob_ref) |
数据统计 (本版本)
- 轨迹数: 36
- 视频数: 36
- 帧数: 886
- 公司数: 6
- 按环境划分: browser-os (14), macos-web-next (8), windows-web-next (14)
数据溯源
该数据集由 SynthUX (synthux.multicompany.day.v1) 生成。观察结果是因果性的 (突变通道 = low_level_input)；在捕获过程中未使用高级应用程序突变。
数据预览
数据集包含一个子集 default (1,006 行)，包含一个分割 train (1,006 行)。预览数据显示了 image 和 label 列，label 包含 40 个类别，例如 0acme-coo05__macos-web-next, 1acme-junior04__browser-os, 2acme-oncall01__browser-os, 3acme-procurement00__browser-os 等。
