视频动作理解数据集（Moments in Time）

MIT-IBM Watson AI Lab 就推出了一个全新的百万规模视频理解数据集Moments-in-Time虽然没有之前的YouTube-8M数据集大，但应该是目前多样性，差异性最高的数据集了。该数据集的任务仍然为视频分类任务，不过其更专注于对“动作”的分类，此处的动作为广义的动作或动态，其执行者不一定是人，也可以是物体或者动物，这点应该是该数据集与现有数据集最大的区分。 moments.csail.mit.edu/img/CAM_video_no_probs.mp4 [1] Monfort M, Zhou B, Bargal S A, et al. Moments in Time Dataset: one million videos for event understanding[J]. [2] Salamon J, Jacoby C, Bello J P. A dataset and taxonomy for urban sound research[C]//Proceedings of the 22nd ACM international conference on Multimedia. ACM, 2014: 1041-1044. [3] Sigurdsson G A, Russakovsky O, Gupta A. What Actions are Needed for Understanding Human Actions in Videos?[J]. arXiv preprint arXiv:1708.02696, 2017.

麻省理工学院-IBM沃森人工智能实验室（MIT-IBM Watson AI Lab）推出了一款全新的百万级规模视频理解数据集——时刻（Moments-in-Time）。尽管其规模不及此前的YouTube-8M数据集，但却是目前多样性与差异性最为突出的视频理解数据集。该数据集的核心任务仍为视频分类，但更聚焦于动作分类。此处的“动作”属于广义的动态行为范畴，其执行者未必局限于人类，也可以是物体或动物，这也是该数据集与现有同类数据集最显著的差异所在。
moments.csail.mit.edu/img/CAM_video_no_probs.mp4
[1] Monfort M, Zhou B, Bargal S A 等. 时刻数据集：用于事件理解的百万级视频集[J].
[2] Salamon J, Jacoby C, Bello J P. 城市声音研究的数据集与分类体系[C]//第22届ACM多媒体国际会议论文集. ACM, 2014: 1041-1044.
[3] Sigurdsson G A, Russakovsky O, Gupta A. 视频中理解人类动作需要哪些行为？[J]. arXiv预印本arXiv:1708.02696, 2017.

搜集汇总

背景与挑战

背景概述

Moments in Time是一个百万规模的视频理解数据集，专注于广义动作分类，包含100万个3秒视频，动作主体多样，类内差异大，部分动作依赖声音信息。