jdopensource/JoyAI-Image-OpenSpatial

---
license: apache-2.0
task_categories:
- visual-question-answering
- image-to-text
language:
- en
tags:
- spatial-understanding
- 3d-vision
- depth-estimation
- 3d-grounding
- multi-view
size_categories:
- 1M<n<10M
configs:
- config_name: default
data_files:
- split: train
path: data/*.parquet
dataset_info:
config_name: default
features:
- name: conversations
list:
- name: "from"
dtype: string
- name: value
dtype: string
- name: id
dtype: string
- name: data_source
dtype: string
- name: images
list:
- name: bytes
dtype: binary
- name: path
dtype: string
- name: type
dtype: string
- name: meta_info
dtype: string
splits:
- name: train
num_examples: 2335335
download_size: 2362232012800
dataset_size: 2362232012800
---

# JoyAI-Image-OpenSpatial

Spatial understanding dataset built on [OpenSpatial](https://github.com/VINHYU/OpenSpatial), used in [JoyAI-Image](https://github.com/jd-opensource/JoyAI-Image).

The full dataset contains about **~3M** multi-turn visual-spatial QA samples across **7 open-source datasets** and web data. The open-source datasets contain ARKitScenes, ScanNet, ScanNet++, HyperSim, Matterport3D, WildRGB-D, and Ego-Exo4D. Tasks cover a wide range of spatial understanding capabilities including 3D object grounding, depth ordering, spatial relation reasoning, distance estimation, and more. We have released **~2.3M** QA samples constructed from the open-source datasets. The remaining web data will be open-sourced in a future release.

## Quick Start

```python
from datasets import load_dataset

ds = load_dataset("jdopensource/JoyAI-Image-OpenSpatial", split="train", streaming=True)
for sample in ds:
print(sample["conversations"])
break
```

## Data Format

Each parquet file contains the following columns:

| Column | Type | Description |
|---|---|---|
| `conversations` | `list[{from, value}]` | Multi-turn conversation pairs (`human` / `gpt`). The human turn provides camera parameters and a spatial reasoning question; the gpt turn provides structured spatial annotations (e.g., 3D bounding boxes, depth ordering, spatial relations). |
| `id` | `string` | Unique sample identifier |
| `data_source` | `string` | Source dataset (e.g., `arkitscenes`, `scannet`, `scannetpp`, `hypersim`, `matterport3d`, `wildrgbd`, `Ego-Exo4D`) |
| `images` | `list[{bytes, path}]` | Embedded image data (PNG bytes) |
| `type` | `string` | Data type label |
| `meta_info` | `string` | JSON string with image dimensions (`width`, `height`, `resized_width`, `resized_height`) |

## TODO

- [ ] Release 3D lifting data

---
许可证：Apache-2.0
任务类别：
- 视觉问答（Visual Question Answering）
- 图像到文本
语言：
- 英语
标签：
- 空间理解（spatial-understanding）
- 3D视觉（3D-vision）
- 深度估计（depth-estimation）
- 3D接地（3D-grounding）
- 多视图（multi-view）
规模类别：
- 100万 < 样本数 < 1000万
配置项：
- 配置名称：默认
数据文件：
- 拆分：训练集
路径：data/*.parquet
数据集信息：
配置名称：默认
特征：
- 字段名：对话（conversations）
类型：列表
- 子字段：来源（"from"）
数据类型：字符串
- 子字段：内容（value）
数据类型：字符串
- 字段名：样本ID
数据类型：字符串
- 字段名：数据源
数据类型：字符串
- 字段名：图像（images）
类型：列表
- 子字段：字节流（bytes）
数据类型：二进制
- 子字段：路径（path）
数据类型：字符串
- 字段名：数据类型
数据类型：字符串
- 字段名：元信息
数据类型：字符串
数据拆分：
- 拆分名称：训练集
样本数量：2335335
下载大小：2362232012800 字节
数据集存储大小：2362232012800 字节
---

# JoyAI-Image-OpenSpatial
本数据集为基于OpenSpatial（https://github.com/VINHYU/OpenSpatial）构建的空间理解类数据集，已应用于JoyAI-Image（https://github.com/jd-opensource/JoyAI-Image）项目。

完整数据集包含约300万轮次的视觉空间问答（Visual-spatial QA）样本，涵盖7个开源数据集与网页数据。所涉开源数据集包括ARKitScenes、ScanNet、ScanNet++、HyperSim、Matterport3D、WildRGB-D以及Ego-Exo4D。

任务覆盖多类空间理解能力，包括3D目标接地（3D object grounding）、深度排序、空间关系推理、距离估计等。目前已发布约230万条由开源数据集构建的问答样本，剩余网页数据将在后续版本中开源。

## 快速上手
python
from datasets import load_dataset

ds = load_dataset("jdopensource/JoyAI-Image-OpenSpatial", split="train", streaming=True)
for sample in ds:
print(sample["conversations"])
break

## 数据格式
每个Parquet文件包含以下列：
| 字段名 | 数据类型 | 说明 |
|---|---|---|
| `conversations` | `list[{from, value}]` | 多轮对话对（`human` / `gpt`）。其中人类视角输入包含相机参数与空间推理问题，GPT视角输出结构化空间标注（如3D边界框、深度排序、空间关系等）。 |
| `id` | `string` | 唯一样本标识符 |
| `data_source` | `string` | 数据源（如`arkitscenes`、`scannet`、`scannetpp`、`hypersim`、`matterport3d`、`wildrgbd`、`Ego-Exo4D`） |
| `images` | `list[{bytes, path}]` | 内嵌图像数据（PNG字节流） |
| `type` | `string` | 数据类型标签 |
| `meta_info` | `string` | 包含图像尺寸信息的JSON字符串（含`width`、`height`、`resized_width`、`resized_height`字段） |

## 待完成事项
- [ ] 发布3D提升（3D lifting）数据