Open Sora Dataset 项目视频数据集

Open-Sora-Plan 是一个开源项目，旨在复现 OpenAI 的 Sora（T2V 模型），并构建关于 Video-VQVAE (VideoGPT) + DiT 的知识。该项目由北京大学和兔展智能公司联合发起，研究显著增强了视频生成的质量以及对文本的控制能力。该模型能够生成 10 秒、 24FPS 的 1024×1024 高清视频，同时还支持生成高分辨率图像，为用户提供更加丰富和精细的视觉体验。

Open-Sora-Plan is an open-source project aimed at reproducing OpenAI's Sora (a text-to-video/T2V model) and building knowledge around Video-VQVAE (VideoGPT) + DiT. This project was jointly initiated by Peking University and TuZhan Intelligence Co., Ltd. The research has notably enhanced the quality of video generation and the model's ability to control outputs via text prompts. The model is capable of generating 10-second high-definition videos with a resolution of 1024×1024 at 24 frames per second (FPS), and also supports generating high-resolution images, providing users with richer and more refined visual experiences.

搜集汇总

背景与挑战

背景概述

该数据集是Open Sora Dataset项目的一部分，由北京大学和兔展智能公司联合发起，旨在复现OpenAI的Sora模型以提升视频生成质量和文本控制能力。它包含从开源网站收集的40,258个高质量无水印视频，总时长约274小时，其中约60%为风景数据。