Vjepa_mamba_dataset_v2

V-JEPA Mamba数据集（v2）是一个专为V-JEPA Mamba预训练任务预处理的视频帧数据集。数据源自Egocentric-10K数据集中的第一人称视角视频记录。原始视频经过筛选：时长小于3分钟的视频被丢弃，大于3分钟的视频截取前3分钟。处理后的视频以每秒8帧的速率提取帧，每段视频共提取1440帧。每帧图像被统一处理为384×384像素的RGB格式，采用最短边缩放并中心裁剪。数据以Parquet文件格式存储，每个视频对应一个文件，包含四个字段：`video_index`（视频的唯一索引，从0开始）、`frame_index`（帧在视频中的位置，范围0-1439）、`frame_bytes`（JPEG编码的帧图像数据，质量为92）和`video_key`（来自原始Egocentric-10K数据集的视频标识符）。数据集文件按目录分片组织，每个目录最多包含9500个Parquet文件，以符合平台限制。该数据集适用于视频分类、图像特征提取等计算机视觉任务，特别是第一人称视角视频的预训练和表示学习。

The V-JEPA Mamba Dataset (v2) is a video frame dataset preprocessed specifically for the V-JEPA Mamba pre-training task. It is sourced from first-person perspective video recordings in the Egocentric-10K dataset. Raw videos were filtered: those with a duration shorter than 3 minutes were discarded, while videos longer than 3 minutes were truncated to their first 3 minutes. Frames were extracted from the processed videos at a rate of 8 frames per second, with a total of 1440 frames extracted per video. Each frame image was uniformly standardized to 384×384 pixel RGB format via shortest-side scaling followed by center cropping. The dataset is stored in Parquet file format, with one file per video. Each file contains four fields: `video_index` (unique index of the video, starting from 0), `frame_index` (position of the frame within the video, ranging from 0 to 1439), `frame_bytes` (JPEG-encoded frame image data with a quality of 92), and `video_key` (video identifier from the original Egocentric-10K dataset). The dataset files are organized via directory sharding, with each directory containing a maximum of 9500 Parquet files to comply with platform restrictions. This dataset is suitable for computer vision tasks such as video classification and image feature extraction, particularly for pre-training and representation learning on first-person perspective videos.

原始信息汇总

数据集概述

• 数据集名称: V-JEPA Mamba Dataset (v2)
• 许可协议: MIT
• 任务类别: 视频分类、图像特征提取、其他
• 标签: 自我中心、视频、帧、Mamba、V-JEPA、预训练
• 数据集大小: 100K < n < 1M（样本数量）

数据集来源与预处理

该数据集来源于 Egocentric-10K 数据集，对每个视频进行以下过滤和裁剪：

• 时长过滤: 丢弃时长小于3分钟的视频；超过3分钟的视频截取前3分钟。
• 帧提取: 使用 ffmpeg 以 8 fps 提取帧，每个视频生成1,440帧。
• 分辨率: 384×384 RGB，采用最短边缩放加中心裁剪。
• 存储格式: 每个视频存储为一个单独的 Parquet 文件。

数据字段

每个 Parquet 文件包含以下列：

列名	类型	描述
video_index	int32	视频唯一索引（从0开始）
frame_index	int16	帧在视频中的位置（0-1439）
frame_bytes	binary	JPEG 编码的帧（质量92）
video_key	string	来自 Egocentric-10K 的原始视频标识符

数据集结构

data/ video_00000.parquet # 视频 0-9999 ... _state.json # 恢复检查点 shard_01/ video_10000.parquet # 视频 10000-19999 ...

（分片存储在目录中，每个目录约9,500个文件，以遵守 Hugging Face 的10k/目录限制）

使用示例

python import pyarrow.parquet as pq from PIL import Image import io

加载视频的帧

table = pq.read_table("data/shard_01/video_10238.parquet") for row in table.to_pylist(): img = Image.open(io.BytesIO(row["frame_bytes"])) # 384×384 RGB # ... 训练循环 ...

处理流程

预处理使用 preprocess-v3.py 脚本实现：

1. 下载与解压: 8个并行下载线程 + 8个解压线程，通过队列解耦。
2. 处理: 使用所有可用的 CPU 核心（30个保留），包括 ffmpeg 解码 → JPEG 编码 → 存储为 Parquet 文件。
3. 上传: 通过 upload_folder 每个块单独提交（避免速率限制）。

恢复安全机制：_state.json 跟踪 tar 级别的进度。重启时，已完全处理的 tar 文件被跳过（零重新下载）。

来源与引用

• 源数据集: builddotai/Egocentric-10K — 包含85个工厂的19,495个 tar 分片，记录自我中心视频。
• 引用格式:

bibtex @misc{vjepa_mamba_dataset, title={V-JEPA Mamba Dataset: Preprocessed Egocentric Video Frames}, author={Phi-9 Research}, year={2026}, url={https://huggingface.co/datasets/rookierufus/Vjepa_mamba_dataset_v2} }

搜集汇总

数据集介绍

构建方式

该数据集源自Egocentric-10K第一人称视频语料库，经精细筛选与预处理而成。所有时长不足3分钟的视频被直接剔除，超过3分钟的视频则截取其前3分钟片段。随后，利用ffmpeg工具以每秒8帧的速率进行帧提取，每段视频生成1440帧图像。图像统一缩放至384×384像素分辨率，采用短边缩放与中心裁剪策略确保尺寸一致。最终，每段视频的帧序列被封装为独立的Parquet文件，包含视频索引、帧序号、JPEG编码的帧数据及原始视频标识符等字段，实现了高效的数据存取与存储。

特点

本数据集的核心特点在于其针对V-JEPA Mamba预训练任务的专门化设计。所有帧图像均为384×384的RGB格式，采用JPEG高质量压缩（质量因子92），在保证视觉信息完整性的同时显著降低存储开销。数据以Parquet列式格式组织，每视频单文件存储，便于分布式读取与流式加载。此外，数据集通过分片策略（每目录包含约9500个文件）规避了HuggingFace平台每目录10,000文件的上限，确保了数据管理的规范性。其断点续传机制进一步提升了大规模预处理的稳定性。

使用方法

使用本数据集时，推荐通过PyArrow库加载Parquet文件。用户可调用`pq.read_table`读取特定视频的帧数据表，随后利用PIL库的`Image.open`函数将二进制帧字节流解码为PIL图像对象，直接融入PyTorch或TensorFlow的训练管线。算法工程师在构建数据迭代器时，只需遍历各视频文件，从`frame_bytes`列中恢复图像并归一化至模型输入要求，即可无缝接入V-JEPA Mamba或类似视觉编码器的预训练流程。其简洁的数据结构显著降低了预处理管线的耦合度。

背景与挑战

背景概述

在视频表征学习领域，自监督预训练范式近年来取得了显著进展，其中以V-JEPA（Video Joint Embedding Predictive Architecture）为代表的方法通过预测潜在空间中的表征来学习高效的视频特征，而Mamba架构凭借其线性复杂度的序列建模能力，为长时序视频处理提供了新思路。Vjepa_mamba_dataset_v2数据集于2026年由Phi-9 Research发布，旨在为V-JEPA Mamba模型的预训练提供标准化的大规模第一人称视频帧数据。该数据集源自Egocentric-10K，通过严格的时长筛选（仅保留3分钟以上视频并截取前3分钟）、8帧/秒的均匀采样、384×384分辨率的中心裁剪等预处理步骤，将原始视频转化为结构化的Parquet文件，每个文件包含1440帧的JPEG编码图像及其元数据。该工作不仅解决了自监督视频预训练中数据多样性与标准化的矛盾，更为理解以自我为中心的视觉感知这一核心研究问题贡献了可复现的基准资源，在具身智能与视频理解领域具有重要的推动意义。

当前挑战

该数据集构建中面临的核心挑战包括：其一，领域问题层面，第一人称视频（Egocentric Video）相较于第三人称视角存在剧烈运动、频繁遮挡和场景漂移等特性，导致静态图像帧的分布极不平衡，这要求预训练方法必须从冗余的时序片段中挖掘有效的时空表征，而现有数据集往往难以覆盖这种极端动态的视觉模式。其二，构建流程中，需处理源自Egocentric-10K的19,495个tar分片（分布在85个工厂）的并行下载与解压，设计者采用8线程下载与8线程解压解耦的队列机制，并占用30个CPU核心进行ffmpeg解码与JPEG编码，同时通过_state.json断点续传机制避免重复下载——这些设计揭示了大规模视频预处理在I/O吞吐、计算资源调度与容错恢复上的技术复杂度，例如单视频1440帧的编码需平衡JPEG质量为92时的文件大小与解码速度，而分片存储（每9500个文件一个目录）须规避HuggingFace的目录限额限制，体现了数据集构建中工程效率与存储规范的严格权衡。

常用场景

经典使用场景

基于第一人称视角的自我中心视频理解，是V-JEPA Mamba数据集最经典的使用场景。该数据集源自Egocentric-10K，经过精心筛选与预处理，将视频片段截取为前3分钟，并以每秒8帧的速率提取出384×384分辨率的RGB图像帧，最终以Parquet格式高效存储。这种结构化的帧序列数据，天然适合用于自监督视觉预训练任务，尤其是结合V-JEPA架构与Mamba状态空间模型进行视频表征学习。研究者可借此探索如何从连续的第一人称视频流中，捕捉时序动态与场景语义，推动自我中心视频领域的基础模型构建。

衍生相关工作

该数据集的发布衍生出若干方向性的后续工作。在算法层面，研究者基于V-JEPA框架与Mamba序列模型的结合，进一步探索了混合注意力机制与状态空间模型的融合方案，衍生出如MambaFormer等改进架构，旨在平衡视频建模的长程依赖与计算效率。在数据层面，该数据集促使社区关注自我中心视频的高效编码与存储，催生了动态帧率采样、关键帧选取等预处理策略的优化工作。此外，围绕该数据集进行的自监督预训练实验，直接推动了Egocentric-10K及其他自我中心数据集的标准化处理流程，为后续更大规模视频预训练数据集的建设提供了参考范式。

数据集最近研究

最新研究方向

该数据集聚焦于自我中心视频理解的前沿领域，结合V-JEPA自监督学习框架与Mamba状态空间模型，为视频表征学习开辟了高效预训练路径。基于Egocentric-10K大规模自我中心视频资源，通过精细化的时长筛选、帧率标准化及分辨率统一处理，构建了384×384的高质量视频帧序列。这一设计呼应了当前多模态基础模型对隐藏空间预测与长时序建模的迫切需求，助力探索无需标注的视频表示学习范式。其在第一人称视角下的应用潜力，尤其为具身智能、增强现实等热点领域提供了关键数据支撑，推动视频理解从被动感知向主动认知演进。