iDRAMALab/iDRAMA-rumble-2024

`iDRAMA-rumble-2024`是一个大规模数据集，包含来自Rumble平台的6,735个播客视频。该数据集使用最先进的模型从播客视频中提取了文本、音频和视频三种模态的信息。具体内容包括：1) 视频的元数据（如频道名称、视频名称、视频描述等）；2) 文本（即视频的语音转文字转录）；3) 音频（提供每个视频中说话人随时间变化的分割信息）；4) 视频（从每个视频中采样的代表性帧，总计20万张图像，并从中检测出超过40万个非唯一面部，并发布面部嵌入数据）。数据集按模态组织，包括转录、代表性图像、说话人分割和面部嵌入等配置。

`iDRAMA-rumble-2024` is a large-scale dataset of 6,735 podcast videos from Rumble, an alternative Youtube-like platform. Using state-of-the-art models, the dataset extracts information across three modalities: 1) text, 2) audio, and 3) video. The dataset includes metadata about the podcast videos (e.g., channel name, video name, video description), transcriptions of the videos, speaker diarization information, and representative video frames (totaling 200K images) with over 400K non-unique faces detected and their embeddings. The dataset is organized by modalities, including transcripts, representative images, speaker diarization, and face embeddings.

原始信息汇总

数据集概述

iDRAMA-rumble-2024 是一个包含6,735个来自Rumble平台的播客视频的大型数据集。该数据集通过先进的模型从文本、音频和视频三个模态提取信息。

数据集组成

• Metadata: 包含播客视频的详细信息，如频道名称、视频名称、视频描述等。
• Text: 播客视频的转录文本。
• Audio: 提供每个视频的说话人分割信息。
• Video: 从每个视频中抽样的代表性视频帧，总计200,000张图像。此外，还检测并发布了超过400,000个非唯一人脸的面部嵌入。

数据集配置

1. face_embeddings

   • 特征: x1, x2, y1, y2, height, width, embedding, v_id, filename, channel_name_lower
   • 分割: train
   • 数据点: 399,333
   • 数据大小: 859,377,822字节

2. representative_images

   • 特征: image, channel_name_lower, v_id, filename
   • 分割: train
   • 数据点: 252,387
   • 数据大小: 29,786,708,764.246字节

3. speaker_diarization

   • 特征: data, v_id
   • 分割: train
   • 数据点: 6,715
   • 数据大小: 175,609,236字节

4. transcripts

   • 特征: v_id, transcription, named_entities
   • 分割: train
   • 数据点: 6,735
   • 数据大小: 6,863,296,262字节

数据集版本

• 维护状态: 活跃
• 版本详情:
  • 当前版本: v1.0.0
  • 首次发布: 2024年06月03日
  • 最后更新: 2024年06月03日

许可证

本数据集遵循CC BY-NC-SA 4.0非商业许可协议。