jxu124/visdial

---
license: cc-by-4.0
dataset_info:
features:
- name: caption
dtype: string
- name: dialog
sequence:
sequence: string
- name: image_path
dtype: string
- name: global_image_id
dtype: string
- name: anns_id
dtype: string
splits:
- name: train
num_bytes: 77657548
num_examples: 123287
- name: test
num_bytes: 3495490
num_examples: 8000
- name: validation
num_bytes: 1408883
num_examples: 2064
download_size: 34814702
dataset_size: 82561921
---

Usage:
```python
from dataclasses import dataclass
import datasets

# load and path setting
ds_visdial = datasets.load_dataset('jxu124/visdial')
path_map = {
"coco/train2014": f"/datasets/coco/train2014",
"coco/val2014": f"/datasets/coco/val2014",
"visdial/VisualDialog_test2018": f"/datasets/visdial/VisualDialog_test2018",
"visdial/VisualDialog_val2018": f"/datasets/visdial/VisualDialog_val2018"
}

# apply to your datasets
@dataclass
class ReplaceImagePath():
path_map: {}
def __call__(self, features):
for k, v in self.path_map.items():
features['image'] = features['image'].replace(k, v)
return features
ds_visdial = ds_visdial.map(ReplaceImagePath(path_map=path_map)).cast_column("image", datasets.Image())
```

### 数据集基本信息
许可证：知识共享署名4.0（CC BY 4.0）
数据集详情：
特征字段：
- 图像描述文本（caption）：数据类型为字符串
- 对话序列（dialog）：嵌套字符串序列
- 图像路径（image_path）：数据类型为字符串
- 全局图像ID（global_image_id）：数据类型为字符串
- 标注ID（anns_id）：数据类型为字符串
数据集划分：
- 训练集（train）：占用字节数77657548，样本总数123287
- 测试集（test）：占用字节数3495490，样本总数8000
- 验证集（validation）：占用字节数1408883，样本总数2064
下载总大小：34814702
数据集总存储大小：82561921

---

## 使用示例
python
from dataclasses import dataclass
import datasets

# 加载数据集并配置路径映射
ds_visdial = datasets.load_dataset('jxu124/visdial')
path_map = {
"coco/train2014": f"/datasets/coco/train2014",
"coco/val2014": f"/datasets/coco/val2014",
"visdial/VisualDialog_test2018": f"/datasets/visdial/VisualDialog_test2018",
"visdial/VisualDialog_val2018": f"/datasets/visdial/VisualDialog_val2018"
}

# 自定义图像路径替换处理器
@dataclass
class ReplaceImagePath():
path_map: dict
def __call__(self, features):
for k, v in self.path_map.items():
features['image'] = features['image'].replace(k, v)
return features
# 应用路径替换处理并将image列转换为图像数据类型
ds_visdial = ds_visdial.map(ReplaceImagePath(path_map=path_map)).cast_column("image", datasets.Image())

原始信息汇总

数据集概述

数据集信息

• 许可证: cc-by-4.0

数据集特征

• caption: 数据类型为字符串。
• dialog: 数据类型为字符串序列。
• image_path: 数据类型为字符串。
• global_image_id: 数据类型为字符串。
• anns_id: 数据类型为字符串。

数据集分割

• 训练集: 包含123287个样本，占用77657548字节。
• 测试集: 包含8000个样本，占用3495490字节。
• 验证集: 包含2064个样本，占用1408883字节。

数据集大小

• 下载大小: 34814702字节
• 数据集总大小: 82561921字节