Vjepa_mamba_dataset_v2
收藏资源简介：
V-JEPA Mamba数据集（v2）是一个专为V-JEPA Mamba预训练任务预处理的视频帧数据集。数据源自Egocentric-10K数据集中的第一人称视角视频记录。原始视频经过筛选：时长小于3分钟的视频被丢弃，大于3分钟的视频截取前3分钟。处理后的视频以每秒8帧的速率提取帧，每段视频共提取1440帧。每帧图像被统一处理为384×384像素的RGB格式，采用最短边缩放并中心裁剪。数据以Parquet文件格式存储，每个视频对应一个文件，包含四个字段：`video_index`（视频的唯一索引，从0开始）、`frame_index`（帧在视频中的位置，范围0-1439）、`frame_bytes`（JPEG编码的帧图像数据，质量为92）和`video_key`（来自原始Egocentric-10K数据集的视频标识符）。数据集文件按目录分片组织，每个目录最多包含9500个Parquet文件，以符合平台限制。该数据集适用于视频分类、图像特征提取等计算机视觉任务，特别是第一人称视角视频的预训练和表示学习。
The V-JEPA Mamba Dataset (v2) is a video frame dataset preprocessed specifically for the V-JEPA Mamba pre-training task. It is sourced from first-person perspective video recordings in the Egocentric-10K dataset. Raw videos were filtered: those with a duration shorter than 3 minutes were discarded, while videos longer than 3 minutes were truncated to their first 3 minutes. Frames were extracted from the processed videos at a rate of 8 frames per second, with a total of 1440 frames extracted per video. Each frame image was uniformly standardized to 384×384 pixel RGB format via shortest-side scaling followed by center cropping. The dataset is stored in Parquet file format, with one file per video. Each file contains four fields: `video_index` (unique index of the video, starting from 0), `frame_index` (position of the frame within the video, ranging from 0 to 1439), `frame_bytes` (JPEG-encoded frame image data with a quality of 92), and `video_key` (video identifier from the original Egocentric-10K dataset). The dataset files are organized via directory sharding, with each directory containing a maximum of 9500 Parquet files to comply with platform restrictions. This dataset is suitable for computer vision tasks such as video classification and image feature extraction, particularly for pre-training and representation learning on first-person perspective videos.
数据集概述
- 数据集名称: V-JEPA Mamba Dataset (v2)
- 许可协议: MIT
- 任务类别: 视频分类、图像特征提取、其他
- 标签: 自我中心、视频、帧、Mamba、V-JEPA、预训练
- 数据集大小: 100K < n < 1M（样本数量）
数据集来源与预处理
该数据集来源于 Egocentric-10K 数据集，对每个视频进行以下过滤和裁剪：
- 时长过滤: 丢弃时长小于3分钟的视频；超过3分钟的视频截取前3分钟。
- 帧提取: 使用 ffmpeg 以 8 fps 提取帧，每个视频生成1,440帧。
- 分辨率: 384×384 RGB，采用最短边缩放加中心裁剪。
- 存储格式: 每个视频存储为一个单独的 Parquet 文件。
数据字段
每个 Parquet 文件包含以下列：
| 列名 | 类型 | 描述 |
|---|---|---|
video_index |
int32 | 视频唯一索引（从0开始） |
frame_index |
int16 | 帧在视频中的位置（0-1439） |
frame_bytes |
binary | JPEG 编码的帧（质量92） |
video_key |
string | 来自 Egocentric-10K 的原始视频标识符 |
数据集结构
data/ video_00000.parquet # 视频 0-9999 ... _state.json # 恢复检查点 shard_01/ video_10000.parquet # 视频 10000-19999 ...
（分片存储在目录中，每个目录约9,500个文件，以遵守 Hugging Face 的10k/目录限制）
使用示例
python import pyarrow.parquet as pq from PIL import Image import io
加载视频的帧
table = pq.read_table("data/shard_01/video_10238.parquet") for row in table.to_pylist(): img = Image.open(io.BytesIO(row["frame_bytes"])) # 384×384 RGB # ... 训练循环 ...
处理流程
预处理使用 preprocess-v3.py 脚本实现：
- 下载与解压: 8个并行下载线程 + 8个解压线程，通过队列解耦。
- 处理: 使用所有可用的 CPU 核心（30个保留），包括 ffmpeg 解码 → JPEG 编码 → 存储为 Parquet 文件。
- 上传: 通过
upload_folder每个块单独提交（避免速率限制）。
恢复安全机制：_state.json 跟踪 tar 级别的进度。重启时，已完全处理的 tar 文件被跳过（零重新下载）。
来源与引用
- 源数据集: builddotai/Egocentric-10K — 包含85个工厂的19,495个 tar 分片，记录自我中心视频。
- 引用格式:
bibtex @misc{vjepa_mamba_dataset, title={V-JEPA Mamba Dataset: Preprocessed Egocentric Video Frames}, author={Phi-9 Research}, year={2026}, url={https://huggingface.co/datasets/rookierufus/Vjepa_mamba_dataset_v2} }
