AGuyWithAnAI/computer-use-large

---
license: cc-by-4.0
task_categories:
- video-classification
- robotics
language:
- en
tags:
- screen-recording
- computer-use
- software-tutorials
- gui
- desktop
size_categories:
- 10K<n<100K
configs:
- config_name: autocad
data_files:
- split: train
path:
- data/autocad/*
- data/autocad_2/*
- config_name: blender
data_files:
- split: train
path:
- data/blender/*
- data/blender_2/*
- config_name: excel
data_files:
- split: train
path: data/excel/*
- config_name: photoshop
data_files:
- split: train
path:
- data/photoshop/*
- data/photoshop_2/*
- config_name: salesforce
data_files:
- split: train
path: data/salesforce/*
- config_name: vscode
data_files:
- split: train
path: data/vscode/*
---

# Computer Use Large

A large-scale dataset of **48,478 screen recording videos** (~12,300 hours) of professional software being used, sourced from the internet. All videos have been trimmed to remove non-screen-recording content (intros, outros, talking heads, transitions) and audio has been stripped.

## Dataset Summary

| Category | Videos | Hours |
|---|---|---|
| AutoCAD | 10,059 | 2,149 |
| Blender | 11,493 | 3,624 |
| Excel | 8,111 | 2,002 |
| Photoshop | 10,704 | 2,060 |
| Salesforce | 7,807 | 2,336 |
| VS Code | 304 | 127 |
| **Total** | **48,478** | **~12,300** |

## Data Fields

Each folder contains a `metadata.jsonl` file with the following fields per video:

| Field | Type | Description |
|---|---|---|
| `file_name` | string | Filename of the video (e.g. `abc123.mp4`) |
| `category` | string | Software category |
| `trimmed_duration` | float | Duration of the video in seconds |
| `num_segments` | int | Number of contiguous screen recording segments |

## Data Organization

Videos are stored under `data/{category}/` with a `metadata.jsonl` per folder. Due to HuggingFace's 10,000 file per directory limit, some categories are split across two folders (e.g. `blender/` and `blender_2/`).

```
data/
autocad/ (9,999 videos + metadata.jsonl)
autocad_2/ (60 videos + metadata.jsonl)
blender/ (9,999 videos + metadata.jsonl)
blender_2/ (1,494 videos + metadata.jsonl)
excel/ (8,111 videos + metadata.jsonl)
photoshop/ (9,999 videos + metadata.jsonl)
photoshop_2/ (705 videos + metadata.jsonl)
salesforce/ (7,807 videos + metadata.jsonl)
vscode/ (304 videos + metadata.jsonl)
```

## Usage

```python
from datasets import load_dataset

# Load a specific category
ds = load_dataset("markov-ai/computer-use-large", "blender")

# Load all categories
ds = load_dataset("markov-ai/computer-use-large")
```

## Intended Use

This dataset is designed for training and evaluating computer use agents — models that interact with desktop software through GUI actions (clicking, typing, scrolling). The screen recordings provide demonstrations of real software workflows across diverse applications.

## License

CC-BY-4.0

---
许可协议: 知识共享署名4.0（CC BY 4.0）
任务类别:
- 视频分类
- 机器人学
语言:
- 英语
标签:
- 屏幕录制
- 计算机操作
- 软件教程
- 图形用户界面（GUI）
- 桌面
规模类别:
- 10,000 < 样本数量 < 100,000
配置项:
- 配置名称: autocad
数据文件:
- 划分: 训练集
路径:
- data/autocad/*
- data/autocad_2/*
- 配置名称: blender
数据文件:
- 划分: 训练集
路径:
- data/blender/*
- data/blender_2/*
- 配置名称: excel
数据文件:
- 划分: 训练集
路径: data/excel/*
- 配置名称: photoshop
数据文件:
- 划分: 训练集
路径:
- data/photoshop/*
- data/photoshop_2/*
- 配置名称: salesforce
数据文件:
- 划分: 训练集
路径: data/salesforce/*
- 配置名称: vscode
数据文件:
- 划分: 训练集
路径: data/vscode/*
---

# 计算机操作大型数据集（Computer Use Large）

本数据集包含**48,478条屏幕录制视频**，总时长约12,300小时，内容均为专业软件的实际操作场景，数据来源于互联网。所有视频均已剪辑，移除了非屏幕录制内容（如片头、片尾、出镜讲话片段、转场画面），且已剥离音频。

## 数据集概览
| 类别 | 视频数量 | 总时长 |
|---|---|---|
| AutoCAD | 10,059 | 2,149 |
| Blender | 11,493 | 3,624 |
| Excel | 8,111 | 2,002 |
| Photoshop | 10,704 | 2,060 |
| Salesforce | 7,807 | 2,336 |
| VS Code | 304 | 127 |
| **总计** | **48,478** | **~12,300** |

## 数据字段
每个文件夹均包含一个`metadata.jsonl`元数据文件，每条视频对应以下字段：
| 字段名 | 数据类型 | 字段说明 |
|---|---|---|
| `file_name` | 字符串 | 视频文件名（例如`abc123.mp4`） |
| `category` | 字符串 | 软件类别 |
| `trimmed_duration` | 浮点数 | 剪辑后时长，单位为秒 |
| `num_segments` | 整数 | 连续屏幕录制片段的数量 |

## 数据组织形式
视频存储于`data/{category}/`路径下，每个文件夹均包含一个`metadata.jsonl`元数据文件。由于HuggingFace平台单目录文件数上限为10,000，部分类别的数据被拆分至两个文件夹中（例如`blender/`与`blender_2/`）。

data/
autocad/ （9,999条视频 + metadata.jsonl）
autocad_2/ （60条视频 + metadata.jsonl）
blender/ （9,999条视频 + metadata.jsonl）
blender_2/ （1,494条视频 + metadata.jsonl）
excel/ （8,111条视频 + metadata.jsonl）
photoshop/ （9,999条视频 + metadata.jsonl）
photoshop_2/ （705条视频 + metadata.jsonl）
salesforce/ （7,807条视频 + metadata.jsonl）
vscode/ （304条视频 + metadata.jsonl）

## 使用方法
python
from datasets import load_dataset

# 加载指定类别的数据集
ds = load_dataset("markov-ai/computer-use-large", "blender")

# 加载全类别数据集
ds = load_dataset("markov-ai/computer-use-large")

## 预期用途
本数据集旨在用于训练与评估AI智能体（AI Agent）——即通过图形用户界面（GUI）执行点击、输入、滚动等操作，与桌面软件进行交互的模型。屏幕录制视频提供了跨多款应用的真实软件工作流程演示。

## 许可协议
知识共享署名4.0（CC BY 4.0）