MMTrail

MMTrail数据集由香港科技大学和北京大学联合创建，是一个包含超过2000万个视频片段的大规模多模态视频语言数据集。该数据集不仅包含视觉字幕，还有200万个高质量的多模态字幕片段，涵盖电影、新闻、游戏等多种内容类型。数据集的创建过程中，采用了先进的大型语言模型（LLM）进行多模态注释，确保了音乐视角与视觉内容的权威性。MMTrail数据集主要应用于细粒度的大规模多模态语言模型训练，旨在解决视频内容生成和理解中的多模态融合问题。

The MMTrail dataset was jointly created by The Hong Kong University of Science and Technology and Peking University. It is a large-scale multimodal video-language dataset containing over 20 million video clips. This dataset not only includes visual captions but also 2 million high-quality multimodal caption clips covering various content types such as movies, news, and games. During the dataset construction process, advanced large language models (LLMs) were employed for multimodal annotation to ensure the authority of both musical perspectives and visual content. The MMTrail dataset is primarily applied to fine-grained large-scale multimodal language model training, aiming to address multimodal fusion issues in video content generation and understanding.

原始信息汇总

MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions

数据集概述

MMTrail是一个大规模的多模态视频-语言数据集，包含超过2000万个预告片片段，具有高质量的多模态字幕，整合了上下文、视觉帧和背景音乐，旨在增强跨模态研究和细粒度多模态-语言模型训练。数据集提供了200万个LLaVA视频字幕、200万个音乐字幕和6000万个Coca帧字幕，涵盖27.1万小时的预告片视频。

下载信息

分割	下载链接	样本数量	视频时长	存储空间
Training-Coca	下载	2000万	27.1万小时	约8.0 TB
Training	下载	210万	8.2万小时	约1.6 TB
Test (2M(sample 1w))	下载	210万	8.2万小时	约1.6 TB
Test	TODO (2.77 MB)	1000	3.5小时	794 Mb

元数据格式

json [ { video_id: zW1-6V_cN8I, video_path: group_32/zW1-6V_cN8I.mp4, video_duration: 1645.52, video_resolution: [720, 1280], video_fps: 25.0, clip_id: zW1-6V_cN8I_0000141, clip_path: video_dataset_32/zW1-6V_cN8I_0000141.mp4, clip_duration: 9.92, clip_start_end_idx: [27102, 27350], image_quality: 45.510545094807945, of_score: 6.993135, aesthetic_score: [4.515582084655762, 4.1147027015686035, 3.796849250793457], music_caption_wo_vocal: [{text: This song features a drum machine playing a simple beat. A siren sound is played on the low register. Then, a synth plays a descending lick and the other voice starts rapping. This is followed by a descending run. The mid range of the instruments cannot be heard. This song can be played in a meditation center., time: 0:00-10:00}], vocal_caption: I was just wondering..., frame_caption: [two people are standing in a room under an umbrella . , a woman in a purple robe standing in front of a man . , a man and a woman dressed in satin robes . ], music_caption: [{text: This music is instrumental. The tempo is medium with a synthesiser arrangement and digital drumming with a lot of vibrato and static. The music is loud, emphatic, youthful, groovy, energetic and pulsating. This music is a Electro Trap., time: 0:00-10:00}], objects: [ bed, Woman, wall, pink robe, pillow], background: Bedroom, ocr_score: 0.0, caption: The video shows a woman in a pink robe standing in a room with a bed and a table, captured in a series of keyframes that show her in various poses and expressions., polish_caption: A woman in a pink robe poses and expresses herself in various ways in a room with a bed and a table, capturing her graceful movements and emotive facial expressions., merge_caption: In a cozy bedroom setting, a stunning woman adorned in a pink robe gracefully poses and expresses herself, her movements and facial expressions captured in a series of intimate moments. The scene is set against the backdrop of a comfortable bed and a table, with an umbrella standing in a corner of the room. The video features two people standing together under the umbrella, a woman in a purple robe standing confidently in front of a man, and a man and woman dressed in satin robes, all set to an energetic and pulsating electro trap beat with a synthesiser arrangement and digital drumming. The music is loud and emphatic, capturing the youthful and groovy vibe of the video. } ]

更新记录

• 【2024/07/30】 发布了200万和2000万字幕数据文件供下载。
• 【2024/06/10】 建立了GitHub页面。

许可证

视频样本来自公开可用的数据集。用户必须遵循相关许可证使用这些视频样本。我们提供了字幕文件。

引用

@misc{chi2024mmtrailmultimodaltrailervideo, title={MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions}, author={Xiaowei Chi and Yatian Wang and Aosong Cheng and Pengjun Fang and Zeyue Tian and Yingqing He and Zhaoyang Liu and Xingqun Qi and Jiahao Pan and Rongyu Zhang and Mengfei Li and Ruibin Yuan and Yanbing Jiang and Wei Xue and Wenhan Luo and Qifeng Chen and Shanghang Zhang and Qifeng Liu and Yike Guo}, year={2024}, eprint={2407.20962}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2407.20962}, }

搜集汇总

数据集介绍

构建方式

MMTrail数据集的构建基于大规模的预告片视频，通过系统化的字幕框架实现多模态注释。首先，数据集从290,000多个预告片视频中提取了超过2000万个视频片段，并为其生成视觉字幕。随后，利用先进的语言模型（LLM）将所有注释自适应地合并，确保字幕在保留视觉上下文的同时，也能反映音乐视角。此外，数据集还包含了200万个高质量视频片段，这些片段不仅包含视觉字幕，还附带了多模态字幕，如音乐描述和背景信息。

使用方法

MMTrail数据集适用于多种多模态任务，包括视频生成、视频理解以及视频与音乐的跨模态任务。研究者可以利用数据集中的视觉字幕和音乐描述，训练和评估视频生成模型，如视频扩散模型和视频语言模型。同时，数据集的高质量注释和多样化的视频内容，也为视频理解模型的训练提供了丰富的资源。此外，数据集还可用于探索视频与音乐之间的潜在关联，推动跨模态研究的深入发展。

背景与挑战

背景概述

MMTrail数据集由香港科技大学和北京大学联合开发，旨在解决当前视频-语言数据集中音频信息被忽视的问题。该数据集于2024年创建，包含超过2000万段预告片视频，每段视频均配有视觉字幕和多模态字幕。MMTrail的核心研究问题是如何在视频-语言模型中有效整合视觉和音频信息，以实现更全面和精确的描述。该数据集的推出对多模态学习和视频内容生成领域具有重要影响，为细粒度的大规模多模态语言模型训练铺平了道路。

当前挑战

MMTrail数据集在构建过程中面临多重挑战。首先，如何从海量视频中筛选出高质量的预告片视频，并确保其视觉和音频信息的完整性。其次，多模态数据的复杂性增加了数据处理和标注的难度，特别是音频和视觉内容之间的高相关性要求。此外，如何设计一个系统化的字幕框架，既能保留视觉上下文的权威性，又能融入音乐视角，是一个技术难题。这些挑战不仅涉及数据集的构建，还关系到后续模型训练的效果和应用的广泛性。

常用场景

经典使用场景

MMTrail数据集的经典使用场景在于其多模态视频描述的生成。通过整合视觉、音频和文本信息，该数据集能够为视频内容生成详尽且准确的描述，从而促进视频语言模型的训练和评估。其独特的预告片视频格式，结合精心设计的背景音乐，使得MMTrail在多模态内容理解和生成任务中表现出色。

解决学术问题

MMTrail数据集解决了现有视频语言数据集在音频信息利用上的不足，填补了多模态视频数据集的空白。通过提供包含视觉、音频和文本的多模态描述，MMTrail显著提升了视频内容理解的准确性和全面性，为跨模态研究提供了坚实的基础。其高质量的注释和丰富的数据多样性，对推动多模态语言模型的发展具有重要意义。

实际应用

MMTrail数据集在实际应用中展现出广泛的前景，特别是在视频内容生成和理解领域。例如，在电影和游戏预告片的自动生成、新闻视频的摘要生成以及教育视频的内容分析等方面，MMTrail都能提供强大的支持。此外，该数据集还可用于开发智能视频推荐系统，通过理解视频内容和背景音乐，提升用户体验。

数据集最近研究

最新研究方向

在多模态视频理解与生成领域，MMTrail数据集的最新研究方向主要集中在利用其丰富的视觉、音频和文本描述，推动细粒度多模态语言模型的训练。研究者们通过系统化的标注框架，结合先进的语言模型，实现了对视频内容的多层次描述，包括视觉帧、背景音乐和文本信息。这种多模态的融合不仅提升了视频内容的理解精度，还为视频生成任务提供了更为丰富的数据支持。此外，MMTrail数据集的多样性和高质量标注使其成为评估和训练视频生成模型的理想平台，进一步推动了视频内容生成技术的发展。

相关研究论文

• MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions

  香港科技大学 北京大学 · 2024年