short_video_ocr_dataset
收藏资源简介：
Short Video OCR Dataset是一个正在开发中的数据集，旨在构建短社交视频帧OCR和文本标注流程。它主要包含乌克兰语、俄语和英语的短社交视频内容，集成了视频、文本和图像多模态数据。数据集存储源视频文件、轻量级元数据、提取的帧序列、手动漏斗分类标注以及基于Qwen2-VL-2B-Instruct模型的OCR预测结果。当前数据规模包括1000个源视频的元数据清单，其中300个视频已以约1.5 FPS的速率提取了帧序列，共生成10,353帧图像，并已上传7,096帧的OCR预测结果。数据集采用结构化文件组织，包括视频清单（manifest.jsonl）、提取的帧清单（frames_manifest.jsonl）、漏斗标注（annotations/）和OCR预测（ocr_predictions/）。它适用于多语言OCR模型训练与评估、视频字幕提取、社交视频内容分析等任务。需要注意的是，数据集仍在积极构建中，OCR预测为模型输出而非真实标注，部分源视频可能包含社交媒体元数据、水印和用户生成内容。
Short Video OCR Dataset is an in-development dataset for building OCR and text annotation pipelines for short social video frames. It primarily includes short social video content in Ukrainian, Russian, and English, integrating video, text, and image multimodal data. The dataset stores source video files, lightweight metadata, extracted frame sequences, manual funnel classification annotations, and OCR prediction results based on the Qwen2-VL-2B-Instruct model. The current scale includes metadata for 1000 source videos, with 300 videos having extracted frame sequences at approximately 1.5 FPS, generating a total of 10,353 frame images. OCR predictions for 7,096 frames have been uploaded. The dataset uses a structured file organization: video manifest (manifest.jsonl) contains information such as video ID, title, uploader, duration, URL path, etc.; extracted frame manifest (frames_manifest.jsonl) records video ID, frame ID, path, timestamp, etc.; funnel annotations (annotations/) provide video-level classifications including categories like matching subtitles, partial match, no match, ignore, and technical issues; OCR predictions (ocr_predictions/) include model inference text results and raw outputs. It is suitable for tasks such as multilingual OCR model training and evaluation, video subtitle extraction, and social video content analysis. Note that the dataset is still under active development, OCR predictions are model outputs rather than ground truth annotations, and some source videos may contain social media metadata, watermarks, and user-generated content.
短视频OCR数据集（Short Video OCR Dataset）
数据集简介
该数据集是一个持续构建中的集合，旨在为短视频帧构建OCR（光学字符识别）和文本标注流水线。数据集包含源视频、元数据、提取的帧、手动漏斗标注以及OCR模型预测结果。
当前状态
- 源视频清单：1000个短视频
- 已提取帧的视频：300个视频，以约1.5 FPS（每秒帧数）提取
- 帧清单：10,353条帧记录
- Qwen2-VL帧OCR预测：已上传7,096条帧预测结果
- 标注存储：手动点击先写入Firestore，随后同步为数据集工件
- 快速媒体镜像：部分选定的视频/帧资源已镜像到Google Cloud Storage，供标注应用使用
语言与许可
- 语言：乌克兰语、俄语、英语
- 许可协议：其他（other）
主要文件结构
视频清单
- 文件：
manifest.jsonl - 关键字段：
video_id、title、uploader、duration_seconds、webpage_url、video_path、video_gcs_url
视频文件
- 路径：
videos/{video_id}/{video_id}.mp4（源视频）、videos/{video_id}/{video_id}.info.json（下载器/源元数据）
漏斗标注
- 文件：
annotations/funnel_state.json、annotations/funnel_export.jsonl - 分类类别：
matched：仅字幕与口语文本匹配title_matched：静态文本加匹配的字幕partially_matched：字幕/文本大部分匹配unmatched：可见文本与口语文本不匹配ignore：无有用字幕/文本annotation_problem：技术或标注问题
- 根级兼容导出：
funnel_state.json、funnel_export.jsonl
类别桶
- 路径：
buckets/{category}/videos.json、buckets/{category}/videos.jsonl - 说明：按漏斗类别分组的便捷导出
提取的帧
- 文件：
frames_manifest.jsonl - 帧文件路径：
frames/{video_id}/frame_000001.png、frames/{video_id}/frame_000002.png等 - 帧元数据：
frames/{video_id}/frames.json - 关键字段：
video_id、frame_id、frame_path、frame_gcs_url、timestamp_seconds、fps
OCR预测
- 模型来源：
Qwen/Qwen2-VL-2B-Instruct - 预测文件：
ocr_predictions/qwen2_vl_2b_frame_ocr/qwen2_vl_2b_frame_ocr.jsonlocr_predictions/qwen2_vl_2b_frame_ocr/qwen2_vl_2b_frame_ocr_summary.json
- 预测记录字段：
dataset_id、model、model_id、video_id、frame_id、timestamp_seconds、frame_path、frame_gcs_url、prediction_text、raw_text、inference_seconds
GCS镜像
- 镜像地址：
gs://short-video-dataset-ocr-videos - 已镜像的OCR输出：
gs://short-video-dataset-ocr-videos/ocr_predictions/qwen2_vl_2b_frame_ocr/qwen2_vl_2b_frame_ocr.jsonlgs://short-video-dataset-ocr-videos/ocr_predictions/qwen2_vl_2b_frame_ocr/qwen2_vl_2b_frame_ocr_summary.json
注意事项
- 数据集正在积极构建中，文件数量和标注覆盖率会不断变化
- OCR预测结果为模型输出，并非真实标注
- 真实文本标注计划在漏斗分类、帧提取和OCR预填充之后的后期阶段进行
- 部分源视频可能包含社交媒体元数据、水印、字幕或其他用户生成内容
