CVML-TueAI/UTD-descriptions

---
configs:
- config_name: default
data_files:
- split: activity_net_train
path: data/activity_net_train-*
- split: activity_net_val
path: data/activity_net_val-*
- split: didemo_test
path: data/didemo_test-*
- split: didemo_train
path: data/didemo_train-*
- split: kinetics_400_train
path: data/kinetics_400_train-*
- split: kinetics_400_val
path: data/kinetics_400_val-*
- split: kinetics_600_train
path: data/kinetics_600_train-*
- split: kinetics_600_val
path: data/kinetics_600_val-*
- split: kinetics_700_train
path: data/kinetics_700_train-*
- split: kinetics_700_val
path: data/kinetics_700_val-*
- split: lsmdc_test
path: data/lsmdc_test-*
- split: lsmdc_train
path: data/lsmdc_train-*
- split: MiT_train_subset
path: data/MiT_train_subset-*
- split: MiT_val
path: data/MiT_val-*
- split: msrvtt_test
path: data/msrvtt_test-*
- split: msrvtt_train
path: data/msrvtt_train-*
- split: ssv2_train
path: data/ssv2_train-*
- split: ssv2_val
path: data/ssv2_val-*
- split: S_MiT_test
path: data/S_MiT_test-*
- split: S_MiT_train_subset
path: data/S_MiT_train_subset-*
- split: ucf_testlist01
path: data/ucf_testlist01-*
- split: ucf_trainlist01
path: data/ucf_trainlist01-*
- split: youcook_train
path: data/youcook_train-*
- split: youcook_val
path: data/youcook_val-*
dataset_info:
features:
- name: video_id
dtype: string
- name: objects+composition+activities
list: string
- name: objects
list: string
- name: activities
list: string
- name: verbs
list: string
- name: objects+composition+activities_15_words
list: string
splits:
- name: activity_net_train
num_bytes: 97927391
num_examples: 10009
- name: activity_net_val
num_bytes: 55707879
num_examples: 4917
- name: didemo_test
num_bytes: 11864270
num_examples: 1036
- name: didemo_train
num_bytes: 83766179
num_examples: 8498
- name: kinetics_400_train
num_bytes: 2250900322
num_examples: 239788
- name: kinetics_400_val
num_bytes: 214727908
num_examples: 19877
- name: kinetics_600_train
num_bytes: 3241023665
num_examples: 353863
- name: kinetics_600_val
num_bytes: 285643388
num_examples: 26958
- name: kinetics_700_train
num_bytes: 4960103724
num_examples: 536499
- name: kinetics_700_val
num_bytes: 361961557
num_examples: 33966
- name: lsmdc_test
num_bytes: 11950903
num_examples: 1000
- name: lsmdc_train
num_bytes: 1045210336
num_examples: 101046
- name: MiT_train_subset
num_bytes: 2825547251
num_examples: 301722
- name: MiT_val
num_bytes: 329177122
num_examples: 30500
- name: msrvtt_test
num_bytes: 11265802
num_examples: 1000
- name: msrvtt_train
num_bytes: 87244592
num_examples: 9000
- name: ssv2_train
num_bytes: 1147606541
num_examples: 168913
- name: ssv2_val
num_bytes: 205544725
num_examples: 24777
- name: S_MiT_test
num_bytes: 39614323
num_examples: 3513
- name: S_MiT_train_subset
num_bytes: 2828317487
num_examples: 301722
- name: ucf_testlist01
num_bytes: 41568651
num_examples: 3783
- name: ucf_trainlist01
num_bytes: 90493133
num_examples: 9537
- name: youcook_train
num_bytes: 86028418
num_examples: 10337
- name: youcook_val
num_bytes: 32923271
num_examples: 3487
download_size: 6989385468
dataset_size: 20346118838
---
# 📝 UTD‑descriptions Dataset

The **UTD‑descriptions** dataset provides multiple kinds of textual descriptions for video samples belonging to **12 widely used video understanding datasets** (e.g., Kinetics‑400, UCF101, HMDB51, DiDeMo, ActivityNet, MSR‑VTT, Charades, etc.).
It contains **no video files** — instead, it offers captions, attributes, and metadata that correspond to videos stored in their original datasets.

This dataset is ideal for **video captioning**, **multimodal learning**, **video–language alignment**, **retrieval**, **representation learning**, and **dataset unification research**.

---

## 📁 Dataset Structure

```
UTD-descriptions/
│
├── data/
│ ├── didemo_test.parquet
│ ├── kinetics_400_train.parquet
│ ├── kinetics_400_val.parquet
│ ├── ucf101_test.parquet
│ └── ... (other dataset splits)
│
└── README.md
```

Each file corresponds to **one dataset + split**, following the naming pattern:

```
<dataset_name>_<split>.parquet
```

Examples:
- `didemo_test`
- `kinetics_400_train`
- `ucf101_val`

---

## 📄 What Does Each Row Contain?

Each row describes one **video instance** from an external dataset.
Typical fields include:

- `video_id` — ID or filename that matches the original dataset
- `objects` — list of detected objects
- `activities` — list of activities
- `verbs` — verb‑only descriptions
- `objects+composition+activities` — multi‑aspect composite descriptions
- `objects+composition+activities_15_words` — compressed 15‑word caption
- Additional textual metadata depending on dataset

All fields are stored as **lists of strings** (even if empty) for consistency and easy batching.

---

## 📥 Loading the Dataset (HuggingFace Datasets)

### Load all splits at once:

```python
from datasets import load_dataset

ds = load_dataset(
"parquet",
data_files={
"didemo_test": "data/didemo_test.parquet",
"kinetics_400_train": "data/kinetics_400_train.parquet",
"kinetics_400_val": "data/kinetics_400_val.parquet",
# Add remaining splits as needed
}
)

print(ds.keys()) # ➜ ["didemo_test", "kinetics_400_train", ...]
```

### Load a single split:

```python
split = load_dataset("parquet", data_files="data/kinetics_400_train.parquet")["train"]
print(split[0])
```

Since the dataset is Parquet-based, loading is **fast**, **memory‑efficient**, and supports **streaming**.

---

## 🔍 Example Usage

### Filter descriptions that mention “running”:

```python
res = split.filter(lambda x: "running" in " ".join(x["activities"]))
```

### Build a text-only dataset for captioning:

```python
captions = [", ".join(x["objects+composition+activities"]) for x in split]
```

### Align with videos (stored separately):

```python
video_path = f"/path/to/Kinetics/{split[0]['video_id']}.mp4"
```

The dataset **does not** provide video files — only descriptions.

---

## 📚 Citation

Refer to the official UTD project documentation provided at:

🔗 https://utd-project.github.io/

Please include the following citation in any publications using this dataset.
```
@article{shvetsova2025utd,
title={Unbiasing through Textual Descriptions: Mitigating Representation Bias in Video Benchmarks},
author={Shvetsova, Nina and Nagrani, Arsha and Schiele, Bernt and Kuehne, Hilde and Rupprecht, Christian},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
year={2025}
}
```

---

配置项：
- 配置名称：default
数据文件：
- 数据集划分：activity_net_train，文件路径：data/activity_net_train-*
- 数据集划分：activity_net_val，文件路径：data/activity_net_val-*
- 数据集划分：didemo_test，文件路径：data/didemo_test-*
- 数据集划分：didemo_train，文件路径：data/didemo_train-*
- 数据集划分：kinetics_400_train，文件路径：data/kinetics_400_train-*
- 数据集划分：kinetics_400_val，文件路径：data/kinetics_400_val-*
- 数据集划分：kinetics_600_train，文件路径：data/kinetics_600_train-*
- 数据集划分：kinetics_600_val，文件路径：data/kinetics_600_val-*
- 数据集划分：kinetics_700_train，文件路径：data/kinetics_700_train-*
- 数据集划分：kinetics_700_val，文件路径：data/kinetics_700_val-*
- 数据集划分：lsmdc_test，文件路径：data/lsmdc_test-*
- 数据集划分：lsmdc_train，文件路径：data/lsmdc_train-*
- 数据集划分：MiT_train_subset，文件路径：data/MiT_train_subset-*
- 数据集划分：MiT_val，文件路径：data/MiT_val-*
- 数据集划分：msrvtt_test，文件路径：data/msrvtt_test-*
- 数据集划分：msrvtt_train，文件路径：data/msrvtt_train-*
- 数据集划分：ssv2_train，文件路径：data/ssv2_train-*
- 数据集划分：ssv2_val，文件路径：data/ssv2_val-*
- 数据集划分：S_MiT_test，文件路径：data/S_MiT_test-*
- 数据集划分：S_MiT_train_subset，文件路径：data/S_MiT_train_subset-*
- 数据集划分：ucf_testlist01，文件路径：data/ucf_testlist01-*
- 数据集划分：ucf_trainlist01，文件路径：data/ucf_trainlist01-*
- 数据集划分：youcook_train，文件路径：data/youcook_train-*
- 数据集划分：youcook_val，文件路径：data/youcook_val-*
数据集信息：
字段信息：
- 字段名：video_id，数据类型：字符串
- 字段名：objects+composition+activities，数据类型：字符串列表
- 字段名：objects，数据类型：字符串列表
- 字段名：activities，数据类型：字符串列表
- 字段名：verbs，数据类型：字符串列表
- 字段名：objects+composition+activities_15_words，数据类型：字符串列表
数据集划分信息：
- 数据集划分名称：activity_net_train，字节数：97927391，样本数：10009
- 数据集划分名称：activity_net_val，字节数：55707879，样本数：4917
- 数据集划分名称：didemo_test，字节数：11864270，样本数：1036
- 数据集划分名称：didemo_train，字节数：83766179，样本数：8498
- 数据集划分名称：kinetics_400_train，字节数：2250900322，样本数：239788
- 数据集划分名称：kinetics_400_val，字节数：214727908，样本数：19877
- 数据集划分名称：kinetics_600_train，字节数：3241023665，样本数：353863
- 数据集划分名称：kinetics_600_val，字节数：285643388，样本数：26958
- 数据集划分名称：kinetics_700_train，字节数：4960103724，样本数：536499
- 数据集划分名称：kinetics_700_val，字节数：361961557，样本数：33966
- 数据集划分名称：lsmdc_test，字节数：11950903，样本数：1000
- 数据集划分名称：lsmdc_train，字节数：1045210336，样本数：101046
- 数据集划分名称：MiT_train_subset，字节数：2825547251，样本数：301722
- 数据集划分名称：MiT_val，字节数：329177122，样本数：30500
- 数据集划分名称：msrvtt_test，字节数：11265802，样本数：1000
- 数据集划分名称：msrvtt_train，字节数：87244592，样本数：9000
- 数据集划分名称：ssv2_train，字节数：1147606541，样本数：168913
- 数据集划分名称：ssv2_val，字节数：205544725，样本数：24777
- 数据集划分名称：S_MiT_test，字节数：39614323，样本数：3513
- 数据集划分名称：S_MiT_train_subset，字节数：2828317487，样本数：301722
- 数据集划分名称：ucf_testlist01，字节数：41568651，样本数：3783
- 数据集划分名称：ucf_trainlist01，字节数：90493133，样本数：9537
- 数据集划分名称：youcook_train，字节数：86028418，样本数：10337
- 数据集划分名称：youcook_val，字节数：32923271，样本数：3487
下载总大小：6989385468字节
数据集总大小：20346118838字节

# 📝 UTD-描述数据集（UTD-descriptions）

**UTD-描述数据集（UTD-descriptions）** 为隶属于**12个主流视频理解数据集**的视频样本提供多类型文本描述，例如动力学数据集400（Kinetics-400）、UCF101、HMDB51、DiDeMo、活动网络（ActivityNet）、MSR-VTT、Charades等。

本数据集**不包含视频文件**，仅提供与原始数据集存储的视频相对应的字幕、属性及元数据。

本数据集适用于**视频字幕生成**、**多模态学习**、**视频-语言对齐**、**检索任务**、**表征学习**以及**数据集统一研究**等场景。

---

## 📁 数据集结构

UTD-descriptions/
│
├── data/
│ ├── didemo_test.parquet
│ ├── kinetics_400_train.parquet
│ ├── kinetics_400_val.parquet
│ ├── ucf101_test.parquet
│ └── ...（其他数据集划分文件）
│
└── README.md

每个文件对应**一个数据集+划分**，命名规则如下：

<dataset_name>_<split>.parquet

示例：
- `didemo_test`
- `kinetics_400_train`
- `ucf101_val`

---

## 📄 每一行包含哪些内容？

每一行描述外部数据集中的一个**视频实例**。典型字段包括：
- `video_id` — 与原始数据集匹配的ID或文件名
- `objects` — 检测到的物体列表
- `activities` — 活动列表
- `verbs` — 仅包含动词的描述
- `objects+composition+activities` — 多维度复合描述
- `objects+composition+activities_15_words` — 压缩至15词的字幕
- 其余字段为随数据集不同而变化的文本元数据

为保证一致性并便于批量处理，所有字段均以**字符串列表**形式存储（即使为空）。

---

## 📥 数据集加载（基于HuggingFace Datasets）

### 一次性加载所有划分：
python
from datasets import load_dataset

ds = load_dataset(
"parquet",
data_files={
"didemo_test": "data/didemo_test.parquet",
"kinetics_400_train": "data/kinetics_400_train.parquet",
"kinetics_400_val": "data/kinetics_400_val.parquet",
# 按需添加其余数据集划分
}
)

print(ds.keys()) # ➜ ["didemo_test", "kinetics_400_train", ...]

### 加载单个数据集划分：
python
split = load_dataset("parquet", data_files="data/kinetics_400_train.parquet")["train"]
print(split[0])

由于本数据集基于Parquet格式，加载过程**快速高效**、**内存占用低**，且支持**流式加载**。

---

## 🔍 示例用法

### 筛选提及“奔跑（running）”的描述：
python
res = split.filter(lambda x: "running" in " ".join(x["activities"]))

### 构建仅用于字幕生成的文本数据集：
python
captions = [", ".join(x["objects+composition+activities"]) for x in split]

### 与单独存储的视频进行对齐：
python
video_path = f"/path/to/Kinetics/{split[0]['video_id']}.mp4"

本数据集**不提供视频文件**，仅包含描述信息。

---

## 📚 引用

请参阅官方UTD项目文档：
🔗 https://utd-project.github.io/

若使用本数据集进行研究并发表论文，请引用以下文献：

@article{shvetsova2025utd,
title={Unbiasing through Textual Descriptions: Mitigating Representation Bias in Video Benchmarks},
author={Shvetsova, Nina and Nagrani, Arsha and Schiele, Bernt and Kuehne, Hilde and Rupprecht, Christian},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
year={2025}
}