BVD-RAW-Index
收藏资源简介：
LAION-BVD-RAW-Index 是 LAION-BVD 原始语料库的文件索引数据集。该数据集本身不包含任何媒体内容，而是为每个下载的原始视频（约 80M 个视频）及其关联的音频、元数据、字幕和评论文件提供对象键和大小信息。数据集包含以下字段：key（对象键，格式为 <id>/<id>.<ext>）、size（对象字节大小）、id（视频ID，例如 YouTube ID，去除了 _comments 后缀）、ext（文件扩展名，如 mp4、info.json）。数据以 Parquet 格式存储，行数在 100M 到 1B 之间，按 key 排序，且同一视频的所有对象保证位于同一分片，便于独立处理。该索引是公开的，但指向的原始媒体文件仅在研究人员通过申请获得访问权限后才能解析和获取。该数据集属于 LAION-BVD 项目，用于构建大规模视频理解数据集，是 BVD-URLs（1.3B 视频 URL）和 BVD-V-55M（55M 场景级视频片段）等子集的基础索引。
LAION-BVD-RAW-Index is a file index dataset of the LAION-BVD raw corpus. This dataset does not contain any media content itself, but provides object key and size information for each downloaded raw video (approximately 80M videos) and its associated audio, metadata, subtitles, and comment files. The dataset contains the following fields: key (object key, format <id>/<id>.<ext>), size (object byte size), id (video ID, e.g., YouTube ID, with the _comments suffix removed), ext (file extension, such as mp4, info.json). The data is stored in Parquet format, with rows between 100M and 1B, sorted by key, and all objects of the same video are guaranteed to be in the same shard for independent processing. The index is public, but the original media files it points to can only be resolved and accessed after researchers apply and obtain access permission. This dataset belongs to the LAION-BVD project, used to build a large-scale video understanding dataset, and is the base index for subsets such as BVD-URLs (1.3B video URLs) and BVD-V-55M (55M scene-level video clips).
LAION-BVD — RAW语料库文件索引
数据集概述
- 名称：LAION-BVD — RAW语料库文件索引（BVD-RAW-Index）
- 许可证：cc-by-4.0
- 语言：英语
- 规模：1亿至10亿条记录
- 格式：Parquet文件，分为多个分片（shard）
- 内容：该数据集是LAION-BVD原始语料库的文件索引，包含约8000万个已下载视频的每个存储对象（视频、音频、元数据、字幕、评论）的一行记录。不包含任何媒体文件，仅包含对象键（key）和大小（size）。
数据集结构
| 列名 | 类型 | 描述 |
|---|---|---|
key |
字符串 | 对象键，格式为 <id>/<id>.<ext> |
size |
整数 | 对象大小（字节） |
id |
字符串 | 视频ID（如YouTube ID）；_comments 后缀会被去除，同一视频的所有文件共享一个 id |
ext |
字符串 | 文件名第一个点之后的内容，如 mp4、info.json |
- 行按
key排序，属于同一视频的所有对象保证位于同一分片中，单个分片可独立处理而不会跨分片丢失视频文件。
访问方式
- 索引本身是公开的，但其指向的原始媒体文件不公开。
- 通过单一中心访问请求表（https://forms.gle/5tXPS4gmBwSGYYbV8）申请访问权限。
- 访问权限限于学术和非商业研究，请求将人工滚动审核。
- 获得访问权限后，可将索引中的键解析到对象存储，详见BVD-RAW访问指南（https://projects.laion.ai/bvd/bvd-raw-access.html）。
与LAION-BVD系列的关系
| 发布集 | 描述 |
|---|---|
| laion/BVD-URLs | 从CommonCrawl提取的13亿视频URL |
| laion/BVD-RAW-Index（本数据集） | 约8000万下载原始视频的文件索引（媒体按请求提供） |
| laion/BVD-V-55M / -URLs | 5500万场景级视频片段，带字幕和时间戳 |
| laion/BVD-A-10M / -URLs | 从BVD-V-55M随机采样的1000万音频片段 |
| laion/BVD-A-1.7M / -URLs | 来自BVD-V-55M的170万音频片段（唯一源视频） |
| laion/BVD-I-300M / -URLs | 从BVD-RAW采样的3亿关键帧 |
- BVD-RAW本身（8000万视频，总计1000万小时）不通过Hugging Face分发，面向学术和非商业研究者通过上述访问请求表获取。
相关链接
- 项目页面：https://projects.laion.ai/bvd/
- 论文：https://arxiv.org/abs/2608.24845
- 代码：https://github.com/LAION-AI/bvd
- 使用条款：https://projects.laion.ai/bvd/assets/bvd_terms_of_use.pdf
- 访问请求表：https://forms.gle/5tXPS4gmBwSGYYbV8
