Popcorn

Popcorn是由卢森堡大学与巴里理工大学联合创建的可配置多模态电影推荐视觉证据基准数据集，旨在系统比较不同视觉证据源对推荐性能的影响。该数据集包含约6.5万部电影的海报缩略图视觉嵌入以及274部电影的对齐完整影片与预告片嵌入，总计生成超过30万个视觉表示，数据来源于MovieLens-25M及官方视频材料。数据集通过现代视觉语言模型和经典CNN骨干网络进行特征编码，并采用标准化处理流程确保可重复性。其核心应用在于探索静态缩略图与动态视频证据在推荐系统中的效能差异，为多模态推荐算法研究提供可控的实验环境与评估框架。

Popcorn is a configurable multimodal movie recommendation visual evidence benchmark dataset jointly created by the University of Luxembourg and Polytechnic University of Bari, aiming to systematically compare the impact of different visual evidence sources on recommendation performance. This dataset contains visual embeddings of poster thumbnails for approximately 65,000 movies, as well as aligned full-length movie and trailer embeddings for 274 movies, generating over 300,000 visual representations in total. The data is sourced from MovieLens-25M and official video materials. The dataset performs feature encoding via modern vision-language models and classic CNN backbones, and adopts standardized processing workflows to ensure reproducibility. Its core application lies in exploring the performance differences between static thumbnails and dynamic video evidence in recommendation systems, providing a controllable experimental environment and evaluation framework for multimodal recommendation algorithm research.

原始信息汇总

🍿 Popcorn Dataset 概述

Popcorn 数据集包含来自大量电影（全长影片）、提取的镜头以及免费预告片的视觉特征，提供帧级别提取的视觉特征及其聚合版本。该数据集可用于推荐、信息检索、分类等任务。

数据集规模

方面	数值
电影总数	274
每部电影平均提取帧数	7,732
帧/嵌入总数	2,158,301
全片帧/嵌入总数	2,118,647
预告片帧/嵌入总数	39,654

混合数据（与 MovieLens 25M 结合，采样25%）

方面	数值
平均电影评分	3.88/5
**用户总数 (	U
**项目总数 (	I
**交互总数 (	R
**	R
**	R
稀疏度	95.04%

存储容量需求

数据	模型	文件总数	磁盘大小
全片	incp3	84,872	35.8 GB
全片	vgg19	84,872	46.1 GB
电影镜头	incp3	16,713	7.01 GB
电影镜头	vgg19	24,598	13.3 GB
预告片	incp3	1,725	681 MB
预告片	vgg19	1,725	885 MB
全片聚合	incp3	84,872	10 MB
全片聚合	vgg19	84,872	19 MB
电影镜头聚合	incp3	16,713	10 MB
电影镜头聚合	vgg19	24,598	19 MB
预告片聚合	incp3	1,725	10 MB
预告片聚合	vgg19	1,725	19 MB
总计	-	214,505	约103.9 GB

文件结构

数据集包含六个主文件夹和一个 stats.json 文件，结构分为多级：

• 一级分类（主文件夹）

  • full_movies：全片视频帧级别视觉特征
  • movie_shots：全片视频镜头级别（重要帧）视觉特征
  • movie_trailers：电影预告片视频帧级别视觉特征
  • full_movies_agg：全片帧级别聚合视觉特征
  • movie_shots_agg：全片镜头级别聚合视觉特征
  • movie_trailers_agg：预告片帧级别聚合视觉特征

• 二级分类（视觉特征提取器）

  • incp3：使用 Inception-v3 (GoogleNet) 提取
  • vgg19：使用 VGG-19 提取

• 三级分类（内容）

  • 原子特征（full_movies、movie_shots、movie_trailers 文件夹）：每个提取器文件夹内包含以 MovieLens 25M 中电影ID命名的文件夹，存储对应视觉特征。
  • 聚合特征（full_movies_agg、movie_shots_agg、movie_trailers_agg 文件夹）：每个提取器文件夹内包含以 MovieLens 25M 中电影ID命名的JSON文件，存储聚合视觉特征。

• 四级分类（数据包，仅原子特征文件夹）

  • 每个电影文件夹内包含若干 packet0001.json 至 packet000N.json 文件。每个JSON文件包含多个 frameId 和 features 对象对。通常每25个对象为一个数据包，最后一个数据包可能包含少于25个对象。

元数据文件

根目录下的 stats.json 文件包含每部电影的元数据（来自 MovieLens 25M），例如电影ID、标题、年份和类型。

数据集用途与框架

• 数据集详情页面：https://recsys-lab.github.io/popcorn_dataset/
• 用于生成和使用该数据集的基准框架（Popcorn）的GitHub仓库：https://github.com/Recsys-lab/Popcorn

搜集汇总

数据集介绍

构建方式

在多媒体推荐领域，电影作为长时视听作品，其视觉证据来源（完整影片、预告片与缩略图）在语义丰富度与可扩展性上差异显著。Popcorn基准数据集通过分层资源与流水线设计，系统化整合了这些视觉证据：其对齐视频层为274部电影提供标题对齐的完整影片与预告片衍生嵌入，涵盖帧级、镜头级与池化级表示；缩略图/VLM层则链接近65,000部MovieLens-25M标题的缩略图证据，组织为13个图像包并由六种现代视觉/VLM骨干编码，生成逾30万个视觉嵌入。软件层进一步提供配置驱动的多模态流水线，支持证据加载、模态组装、融合、分割、评估及LLM增强，通过单一配置文件实现实验参数控制。

使用方法

研究人员可通过Popcorn的配置驱动流水线灵活开展实验。首先设定证据来源（thumb/trailer/full）、视觉骨干（如CLIP、DINOv2、SigLIP）、嵌入粒度及池化策略，并通过config.yml控制模态融合方法（拼接、PCA、CCA）与LLM增强开关。基准协议采用MovieLens-1M交互数据经10-core过滤，以VBPR等推荐器执行top-K评估。数据集提供标准化加载器、ID对齐与分割器，并可导出解析后的配置、推荐列表及准确度/超越准确度指标。对于完整影片，用户需合法访问原始视频后通过流水线重算特征；所有嵌入数据与源码均通过Hugging Face与GitHub公开发布。

背景与挑战

背景概述

电影作为多模态文化制品，其视觉元素涵盖叙事结构、镜头运动、色彩基调与视觉风格，然而现有推荐基准多依赖预告片、缩略图或元数据等简化视觉信号，未能系统解构不同视觉证据源对推荐行为的影响。Popcorn数据集由卢森堡大学与巴里理工大学的研究人员于2026年联合构建，旨在系统评估全片、预告片与缩略图三种视觉证据在多媒体电影推荐中的表现差异。该基准将多模态推荐框架化为可控视觉证据比较实验，通过开源框架与配置驱动管道，为研究者提供标准化的模态组装、融合、分割与评估协议。Popcorn的出现填补了现有资源无法同时支持缩略图、预告片与全片证据对比的空白，推动了多媒体推荐系统从特征工程向证据源可解释性研究的范式转型。

当前挑战

该数据集面临的核心挑战在于视觉证据源的非等价性：全片虽最接近消费体验却分发困难且处理成本高昂，预告片作为促销产物刻意浓缩高潮场景，缩略图虽具备大规模可扩展性却压缩了动态视觉信息。构建过程中需解决多模态特征的时空对齐问题，包括将274部全片与官方预告片在镜头、帧与池化三个粒度上完成标题级特征对齐，并为此建立超过300K的视觉嵌入集合。此外，如何在保持下游推荐协议固定的前提下，统一比较经典CNN多帧管道与现代VLM单图像编码器的性能差异，同时确保实验可复现性，是方法论层面的突出挑战。

常用场景

经典使用场景

在电影推荐系统研究中，Popcorn作为首个可配置的视觉证据基准，为多模态推荐领域提供了一个标准化的实验平台。研究者通过该数据集能够系统性地比较三种视觉证据源——全长电影、预告片和缩略图——在不同编码器（如经典CNN与现代VLM）下的推荐性能。经典使用场景包括在固定分割、推荐器和评估协议下，探究单一缩略图VLM特征与多帧CNN特征之间的替代性与互补性，从而揭示视觉证据源的选择如何影响排序精度、覆盖率、多样性与校准偏差等核心指标。

解决学术问题

Popcorn核心解决了多模态电影推荐中长期存在的学术难题：不同视觉证据源（全长电影、预告片、缩略图）在语义、可扩展性和计算成本上的差异性尚未被系统比较。现有基准或仅提供预告片特征，或聚焦于微视频，无法将视觉证据源作为独立变量进行可控消融实验。Popcorn通过发布标题对齐的全长电影与预告片嵌入层（274部影片）以及MovieLens关联的缩略图VLM嵌入层（约65K标题），并配套配置驱动的多模态流水线，使得研究者能够在统一协议下量化证据源选择对排名准确性、泛化能力及公平性等维度的影响，填补了该领域资源与方法的空白。

实际应用

在实际电影推荐系统中，Popcorn为平台方提供了一套权衡推荐质量与计算成本的决策框架。例如，流媒体平台可利用Popcorn提供的缩略图VLM特征（如SigLIP-base）实现大规模冷启动推荐，仅需单张静态图像即可达到超越传统多帧CNN预告片特征的排序精度，显著降低特征提取与存储开销。此外，通过该基准的融合与增强模块，工业界可灵活配置不同模态（视觉、文本、音频）的组合策略，如利用CCA融合视觉与文本特征以提升推荐覆盖率，或借助LLM对稀疏元数据进行文本增强以缓解数据稀疏问题，从而实现个性化与多样性之间的动态平衡。

数据集最近研究

最新研究方向

当前，Popcorn数据集引领了多模态电影推荐领域中视觉证据源的精细化比较研究，其前沿方向聚焦于探究不同视觉证据类型——缩略图、预告片与完整影片——在推荐系统中的语义差异与性能权衡。通过配置化的基准测试框架，Popcorn揭示了现代视觉-语言模型（VLM）编码的静态缩略图证据，在大规模目录场景下可超越传统基于多帧CNN的预告片特征，展现出卓越的语义信号提取能力。然而，该研究同时指出，视觉证据源与融合策略的选择对排序准确性、覆盖率、多样性及校准偏差等指标产生非单调影响，预告片与完整影片的视觉证据不可互换。这一发现挑战了过往研究中将预告片特征视为完整影片代理的隐含假设，为构建更符合用户真实观影体验的推荐模型提供了关键性方法论支撑，并推动了成本感知与鲁棒性分析等前沿议题的发展。

相关研究论文

• Popcorn: A Configurable Benchmark for Visual Evidence in Multimodal Movie Recommendation

  卢森堡大学·安全、可靠性与信任跨学科中心; 巴里理工大学 · 2026年