synthux-economy-r5-w049
收藏资源简介：
SynthUX Computer-Use Dataset — economy sim r5 是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成，专注于模拟公司环境中的工作者设备会话，旨在通过合成方法创建真实的多应用程序计算机交互数据。数据集模拟工作者在虚拟公司中执行任务的完整轨迹，每个记录代表参与者在模拟设备会话中的活动：自然语言目标被扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。轨迹被记录为屏幕视频以及每个终端节点在最后输入事件时刻的帧图像。数据采用多应用程序原生执行模式，具有每参与者内容多样性、跨操作系统消息传递和大规模多公司经济模拟的特点，以JSONL格式组织，包含data.jsonl文件、screenshots/目录（PNG帧）和videos/目录（WebM视频）。记录模式包括轨迹唯一标识符、参与者信息（ID、公司、角色ID、职位）、模拟器环境（macos-web-next、windows-web-next、browser-os）、会话的自然语言目标、终端节点树、密集的低级输入事件（带时间戳）、因果模拟器状态观察、观察结果与输入事件的对齐链接，以及媒体引用。本构建包含36个轨迹、854帧图像、涉及6家不同公司，环境分布为browser-os（8个）、macos-web-next（12个）、windows-web-next（16个）。数据使用SynthUX工具生成，观察结果具有因果性，适用于计算机使用、GUI代理、多应用程序交互和合成数据生成等研究任务，为开发基于视觉的自动化代理和模拟真实工作环境交互提供资源。
SynthUX Computer-Use Dataset — economy sim r5 is a vision-based computer-use trajectory dataset generated by SynthUX, focusing on simulating worker device sessions in corporate environments. It aims to create realistic multi-application computer interaction data through synthetic methods. The dataset simulates complete trajectories of workers performing tasks in a virtual company, with each record representing a participants activity in a simulated device session: a natural language goal is expanded into a node tree, and terminal nodes drive real desktop simulator applications (including terminal, notes, VS Code, browser, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and frame images at the moment of the last input event for each terminal node. The data employs a multi-application native execution mode, featuring per-participant content diversity, cross-OS messaging, and large-scale multi-company economic simulations, organized in JSONL format with data.jsonl files, a screenshots/ directory (PNG frames per node), and a videos/ directory (full screen recordings in WebM format). The record schema includes a unique trajectory identifier, participant information (ID, company, role ID, position), simulator environment (macos-web-next, windows-web-next, browser-os), natural language goal of the session, participants terminal node tree (with surfaces, actions, goals, parameters), dense low-level mouse/keyboard/script input events (timestamped), causal simulator state observations after each node, alignment links from observations to input event ranges mapped to node IDs, and media references (Blob references for videos and frames). This build contains 36 trajectories, 854 frame images, and involves 6 different companies, distributed across environments: browser-os (8), macos-web-next (12), windows-web-next (16). The data is generated using SynthUX tools, with causal observations (variation channel at low-level inputs) and no high-level application mutations during capture. It is suitable for research tasks in computer use, GUI agents, multi-application interaction, and synthetic data generation, providing high-quality training and evaluation resources for developing vision-based automation agents and simulating real-world work environment interactions.
数据集概述：SynthUX Computer-Use (economy sim)
数据集名称：SynthUX Computer-Use Dataset — economy sim r5
许可证：Apache-2.0
任务类别：其他（other）
标签：computer-use, gui-agents, synthetic, multi-application
来源：通过 SynthUX 生成（synthux.multicompany.day.v1）
数据集内容
- 数据文件：
data.jsonl，每行对应一条轨迹记录。 - 截图：
screenshots/<trajectory>/<node_id>.png，每个终端节点在最后一次输入事件时的帧图像。 - 视频：
videos/<trajectory>.webm，完整屏幕录制视频。
记录字段说明
| 字段 | 含义 |
|---|---|
trajectory_id |
唯一轨迹ID（格式：<actor>__<env>） |
actor_id, company, role_id, title |
操作者身份及所属组织信息 |
env |
模拟环境类型：macos-web-next / windows-web-next / browser-os |
goal |
会话的自然语言目标 |
tree.nodes |
操作者的终端节点（包含 surface, action, target, args） |
trajectory.input_events |
详细的底层鼠标、键盘、脚本事件（含时间戳 t_ms） |
trajectory.observations |
每个节点后的因果模拟器状态 |
trajectory.alignment |
将观察结果和输入事件范围链接到节点ID |
media.video |
屏幕录制（webm 格式） |
media.frames |
每个节点的 PNG 帧（包含 node_id, t_ms, blob_ref） |
数据统计（当前构建版本）
- 轨迹数量：36 条
- 视频数量：36 个
- 帧总数：854 帧
- 公司数量：6 个
- 环境分布：
browser-os：8 条轨迹macos-web-next：12 条轨迹windows-web-next：16 条轨迹
数据生成与特点
- 每条记录代表一个模拟公司内某位员工的设备会话。
- 目标被展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实桌面模拟器应用（终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。
- 轨迹以屏幕视频加每个节点帧的形式记录。
- 支持跨应用多应用执行、每个角色的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。
- 观察结果为因果性的（突变通道为
low_level_input），捕获过程中未使用高层应用突变。
