synthux-economy-r5-w043
收藏资源简介：
SynthUX计算机使用数据集—经济模拟r5是一个由SynthUX生成的、基于视觉的计算机使用轨迹数据集，专注于模拟公司环境中的工作会话。该数据集旨在通过低级鼠标和键盘输入，在真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）中驱动任务执行，并记录完整的交互轨迹。每个记录代表一个参与者在模拟公司设备会话中的活动：一个自然语言目标被扩展为节点树，终端节点通过输入事件控制应用程序，观察轨迹以屏幕视频和每个节点的静态帧形式捕获。数据集支持多应用程序原生执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递和大型多公司经济模拟，每个经济模拟作为独立的数据集仓库发布。数据集包含36个轨迹、36个视频和968帧，覆盖6个公司，环境分布包括 browser-os（10）、macos-web-next（12）和 windows-web-next（14）。数据文件包括 data.jsonl（每条轨迹的JSON行记录）、screenshots/<trajectory>/<node_id>.png（每个终端节点在最后输入事件时的PNG帧）和 videos/<trajectory>.webm（WebM格式的完整屏幕录制）。记录模式详细说明了轨迹ID、参与者信息、公司、角色、环境、目标、树节点（表面、动作、目标、参数）、输入事件（带时间戳的低级事件）、观察（因果模拟器状态）、对齐（链接观察和事件到节点）以及媒体引用。该数据集适用于计算机使用、GUI代理、合成数据和多应用程序交互的研究与开发，特别适合训练和评估基于视觉的自动化代理或人机交互系统。观察基于因果模拟器状态，突变通道仅使用低级输入，未使用高级应用程序突变。
SynthUX Computer Usage Dataset—Economic Simulation r5 is a vision-based computer usage trajectory dataset generated by SynthUX, focusing on simulating work sessions in corporate environments. This dataset aims to drive task execution in real desktop simulator applications (such as terminals, notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs, and record complete interaction trajectories. Each record represents the activity of a participant during a simulated corporate device session: a natural language target is expanded into a node tree, where terminal nodes control applications through input events, and the interaction trajectory is captured as screen videos and static frames for each node. The dataset supports native execution across multiple applications (no workspace overlay), features content diversity for each participant, cross-operating system messaging, and large-scale multi-corporate economic simulations, with each economic simulation released as an independent dataset repository. The dataset contains 36 trajectories, 36 videos, and 968 frames, covering 6 companies, with environment distributions including browser-os (10), macos-web-next (12), and windows-web-next (14). The data files include data.jsonl (JSON Lines records for each trajectory), screenshots/<trajectory>/<node_id>.png (PNG frames of each terminal node at the time of its final input event), and videos/<trajectory>.webm (full screen recordings in WebM format). The record schema details trajectory ID, participant information, company, role, environment, target, tree nodes (surface, action, target, parameter), input events (low-level events with timestamps), observations (causal simulator states), alignments (linking observations and events to nodes), and media references. This dataset is applicable to research and development in computer usage, GUI agents, synthetic data, and multi-application interaction, and is particularly suitable for training and evaluating vision-based automated agents or human-computer interaction systems. Observations are based on causal simulator states, and mutation channels only use low-level inputs without leveraging high-level application mutations.
数据集概述：SynthUX Computer-Use (economy sim r5)
基本信息
- 许可证：Apache-2.0
- 任务类别：其他
- 标签：计算机使用、GUI代理、合成数据、多应用
- 数据集名称：SynthUX Computer-Use (economy sim)
数据集描述
该数据集包含由 SynthUX 生成的基于视觉的计算机使用轨迹。每条记录代表模拟公司中一名员工的设备会话：一个目标扩展为节点树，终端节点通过底层鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。
特点包括：
- 应用原生的多应用执行（无工作台覆盖）
- 每个参与者的内容多样性
- 跨操作系统消息传递
- 大型多公司经济模拟
每个经济模拟作为独立的数据集仓库发布。
数据集内容
- data.jsonl：每条渲染轨迹的记录
- screenshots/<trajectory>/<node_id>.png：每个终端节点的帧，取自该节点最后一个输入事件
- videos/<trajectory>.webm：完整的屏幕录制视频
记录模式（Schema）
| 字段 | 含义 |
|---|---|
trajectory_id |
唯一ID (<actor>__<env>) |
actor_id, company, role_id, title |
员工身份及所属组织 |
env |
模拟器类型：macos-web-next / windows-web-next / browser-os |
goal |
会话的自然语言目标 |
tree.nodes |
参与者的终端节点（包含 surface, action, target, args） |
trajectory.input_events |
密集的底层鼠标/键盘/脚本事件，附带 t_ms |
trajectory.observations |
每个节点后的因果模拟器状态 |
trajectory.alignment |
将观察结果和输入事件范围链接到节点ID |
media.video |
屏幕录制（webm 格式） |
media.frames |
每节点 PNG 帧（包含 node_id, t_ms, blob_ref） |
数据集统计（当前构建版本）
- 轨迹数量：36 条
- 视频数量：36 个，帧数共计 968 帧
- 公司数量：6 家
- 按环境分布：
- browser-os：10 条
- macos-web-next：12 条
- windows-web-next：14 条
数据来源
数据由 SynthUX 生成（版本：synthux.multicompany.day.v1）。观察结果为因果关系（突变通道 = low_level_input），捕获过程中未使用高级应用突变。
