YT-Temporal-1B

最近关于静态图像的先前工作证明了通过增加数据集大小的经验改进-一直到JFT-3B。同样的模式出现在视频中: 先前的工作显示出有希望的经验改进，不仅通过缩放到600万视频/180M帧，而且通过收集不同的集合 (即，超越教学视频)。为此，我们引入了一个新的训练数据集，其中包含2000万个英文字幕的YouTube视频和10亿帧，称为YT-Temporal-1B。同时，我们采取措施保护用户隐私，将scrap引向公共，大型和货币化渠道。我们在附录E中详细介绍了我们的收集、预处理和发布策略。

Recent prior work on static images has demonstrated empirical improvements via scaling up dataset size—all the way up to JFT-3B. The same pattern holds for videos: prior work has shown promising empirical improvements not only by scaling to 6 million videos / 180 million frames, but also by collecting diverse datasets (i.e., beyond instructional videos). To this end, we introduce a new training dataset containing 20 million YouTube videos with English subtitles and 1 billion frames, dubbed YT-Temporal-1B. Meanwhile, we take measures to protect user privacy by restricting scraping to public, large-scale and monetized channels. We detail our collection, preprocessing, and release strategies in Appendix E.

搜集汇总

背景与挑战

背景概述

YT-Temporal-1B是一个大规模的视频数据集，包含2000万个英文字幕的YouTube视频和10亿帧，由多家知名研究机构联合发布，旨在推动视频和语言AI研究的发展。