VatsaDev/raw-vid-danbooru

这是一个原始示例数据集，主要用于验证管道的可行性和扩展性。数据集目前包含约1100个样本，主要以日语为主，但也包含英语。文件结构包括视频ID文件夹，其中包含元数据文件和视频剪辑文件。未来计划将数据集扩展到约500万个样本。

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 任务类别: 视频分类
• 语言: 日语, 英语
• 数据集大小: 1K<n<10K

当前状态

• 当前大小: 约1100个样本
• 视频质量: 目前为360p，计划提升至更高质量
• 语言分布: 目前日语样本多于英语样本

未来计划

• 扩展目标: 最终规模将达到类似image-danbooru的规模（约5M样本）

文件结构

• 结构: 每个视频ID对应一个文件夹，包含metadata.jsonl和多个mp4视频文件。
• metadata内容: 包含每个视频片段的文本信息