cua-verse/Aguvis

# cua-verse/Aguvis

cua-lite preprocessed version of Aguvis (xlangai/aguvis-stage1 + aguvis-stage2) merged into one repo. Stage-1 contributes grounding:action sub-datasets (OmniAct, RICO, UI-RefExp, GUIEnv, SeeClick, WebUI); stage-2 contributes trajectory data (AITW, Android-Control, CoAT, GUIDE, MiniWoB). Both stages share the unified cua-lite SFT schema; the original stage boundary is preserved in metadata.others.

## Origin

- [https://huggingface.co/datasets/xlangai/aguvis-stage1](https://huggingface.co/datasets/xlangai/aguvis-stage1)
- [https://huggingface.co/datasets/xlangai/aguvis-stage2](https://huggingface.co/datasets/xlangai/aguvis-stage2)

## Schema

Each row has these columns:

| column | type | notes |
|---|---|---|
| `image_ids` | list[string] | content-addressed ids (`<sha256>.<ext>`), used for cross-parquet dedup |
| `images` | list[Image] | bytes embedded at HF push time; matches `image_ids` index-for-index |
| `messages` | list[struct] | OpenAI-style turns with `role` + structured `content` |
| `metadata` | struct | `{platform, task_type, split, others{...}}` |

Coordinate values in `messages` are normalized to `[0, 1000]` integers.

## Layout

```
<platform>/<task_type>/<split>/<variant>.parquet
```

- `platform` ∈ {desktop, mobile, web}
- `task_type` ∈ {understanding, grounding:action, grounding:point, grounding:bbox, trajectory}
- `split` ∈ {train, eval} — `eval` is an in-distribution held-out slice (not used in training)

## Stats

| platform | task_type | variant | train | eval |
|---|---|---|---:|---:|
| desktop | grounding:action | omniact | 5,392 | 99 |
| mobile | grounding:action | ricoig16k | 15,774 | 359 |
| mobile | grounding:action | ricosca | 171,212 | 2,000 |
| mobile | grounding:action | ui_refexp | 15,268 | 356 |
| mobile | grounding:action | widget_cap | 99,485 | 1,940 |
| mobile | trajectory | aitw | 1,698 | 30 |
| mobile | trajectory | android_control | 12,318 | 263 |
| mobile | trajectory | coat | 1,306 | 23 |
| mobile | trajectory | guide | 595 | 12 |
| web | grounding:action | guienv | 325,972 | 2,000 |
| web | grounding:action | seeclick | 269,121 | 2,000 |
| web | grounding:action | seeclick_mi | 269,119 | 2,000 |
| web | grounding:action | webui | 56,302 | 1,087 |
| web | trajectory | miniwob | 1,775 | 31 |

## Image store

Images are content-addressed by SHA-256 and deduplicated within this repo.
The mapping `image_id → bytes` is embedded in every parquet via
[`datasets.Image`](https://huggingface.co/docs/datasets/image_load). The
`reverse.py` script in [cua-lite/cua-lite](https://github.com/cua-lite/cua-lite/tree/main/scripts/hf_upload)
reconstructs a local `image_store/` + reference-only parquets, letting you
re-dedup across datasets on your own machine.

- Total images: **516,962**
- Store size: **209.74 GB**

## Notes

Sub-datasets (variants) may have heterogeneous source licenses. See metadata.others.source for provenance. Many Aguvis sub-datasets overlap with standalone cua-lite datasets (Mind2Web, AMEX, etc.); deduplicate before mixing for training.

## License & Citation

See original datasets (xlangai/aguvis-stage1 and aguvis-stage2)

See https://aguvis-project.github.io/

# cua-verse/Aguvis

本仓库为Aguvis的cua-lite预处理版本，将xlangai/aguvis-stage1与aguvis-stage2两个数据集整合为单一仓库。第一阶段（Stage-1）贡献了**动作锚定（grounding:action）**类子数据集，涵盖OmniAct、RICO、UI-RefExp、GUIEnv、SeeClick、WebUI；第二阶段（Stage-2）提供了轨迹（trajectory）类数据，包括AITW、Android-Control、CoAT、GUIDE、MiniWoB。两个阶段均采用统一的cua-lite监督微调（Supervised Fine-Tuning, SFT）范式，原始的阶段分界信息保留在metadata.others字段中。

## 数据集来源
- [https://huggingface.co/datasets/xlangai/aguvis-stage1](https://huggingface.co/datasets/xlangai/aguvis-stage1)
- [https://huggingface.co/datasets/xlangai/aguvis-stage2](https://huggingface.co/datasets/xlangai/aguvis-stage2)

## 数据结构
每条数据包含以下列：

| 列名 | 数据类型 | 说明 |
|---|---|---|
| `image_ids` | 字符串列表 | 基于内容寻址的ID（格式为`<sha256>.<ext>`），用于跨Parquet文件去重 |
| `images` | 图像列表 | 上传至Hugging Face（HF）时嵌入的二进制图像数据，与`image_ids`按索引一一对应 |
| `messages` | 结构化列表 | 采用OpenAI格式的对话轮次，包含`role`与结构化的`content`字段 |
| `metadata` | 结构体 | 格式为`{platform, task_type, split, others{...}}`的元数据字段 |

对话内容中的坐标值已归一化为`[0, 1000]`区间的整数。

## 存储布局

<platform>/<task_type>/<split>/<variant>.parquet

存储路径格式为：`<平台>/<任务类型>/<划分>/<变体>.parquet`，其中：
- `platform`（平台）可选值为{桌面端（desktop）、移动端（mobile）、网页端（web）}
- `task_type`（任务类型）可选值包括{理解（understanding）、锚定点（grounding:point）、边界框锚定（grounding:bbox）、轨迹（trajectory）}
- `split`（数据划分）可选值为{训练集（train）、评估集（eval）}，其中评估集为分布内的保留子集，不用于模型训练。

## 数据统计

| 平台 | 任务类型 | 变体 | 训练样本数 | 评估样本数 |
|---|---|---|---:|---:|
| 桌面端（desktop） | 动作锚定（grounding:action） | omniact | 5,392 | 99 |
| 移动端（mobile） | 动作锚定（grounding:action） | ricoig16k | 15,774 | 359 |
| 移动端（mobile） | 动作锚定（grounding:action） | ricosca | 171,212 | 2,000 |
| 移动端（mobile） | 动作锚定（grounding:action） | ui_refexp | 15,268 | 356 |
| 移动端（mobile） | 动作锚定（grounding:action） | widget_cap | 99,485 | 1,940 |
| 移动端（mobile） | 轨迹（trajectory） | aitw | 1,698 | 30 |
| 移动端（mobile） | 轨迹（trajectory） | android_control | 12,318 | 263 |
| 移动端（mobile） | 轨迹（trajectory） | coat | 1,306 | 23 |
| 移动端（mobile） | 轨迹（trajectory） | guide | 595 | 12 |
| 网页端（web） | 动作锚定（grounding:action） | guienv | 325,972 | 2,000 |
| 网页端（web） | 动作锚定（grounding:action） | seeclick | 269,121 | 2,000 |
| 网页端（web） | 动作锚定（grounding:action） | seeclick_mi | 269,119 | 2,000 |
| 网页端（web） | 动作锚定（grounding:action） | webui | 56,302 | 1,087 |
| 网页端（web） | 轨迹（trajectory） | miniwob | 1,775 | 31 |

## 图像存储
本仓库内的图像基于SHA-256（SHA-256）算法进行内容寻址，并实现去重。通过[`datasets.Image`](https://huggingface.co/docs/datasets/image_load)工具，每个Parquet文件中均嵌入了`image_id → 图像二进制数据`的映射关系。[cua-lite/cua-lite](https://github.com/cua-lite/cua-lite/tree/main/scripts/hf_upload)仓库中的`reverse.py`脚本可重建本地`image_store/`目录与仅含引用的Parquet文件，支持用户在本地机器上跨数据集进行二次去重。

- 总图像数量：**516,962**
- 存储总大小：**209.74 GB**

## 注意事项
各子数据集（变体）可能采用不同的源许可证，相关来源信息可查看metadata.others.source字段。Aguvis的诸多子数据集与独立的cua-lite数据集（如Mind2Web、AMEX等）存在重叠，在混合用于训练前请务必完成去重操作。

## 许可证与引用
相关许可证与引用信息请查阅原始数据集xlangai/aguvis-stage1与aguvis-stage2。
详情请访问：https://aguvis-project.github.io/