ViLLA-MMBench

ViLLA-MMBench是一个用于下一代大型语言模型增强的多模态电影推荐研究的基准测试套件。该套件利用了广泛使用的MovieLens和MMTF-14K数据集，整合并校准了来自三个模态（音频、视觉和文本）的项级密集嵌入。它还自动使用最先进的LLM（例如OpenAI GPT）增强缺失或稀疏的项元数据，为数千部电影生成高质量的摘要。所有文本（原始或LLM增强）都使用可配置的密集编码器嵌入，生成多个现成的嵌入集（OpenAI Ada、LLaMA-2、Sentence-T5）。此外，ViLLA-MMBench的管道支持可互换的早期、中期和晚期融合运算符（连接、PCA、CCA和排名聚合），并公开了多种骨干推荐器（MF、VAECF、VBPR、AMR、VMF），用于消融研究。所有实验参数（包括数据集分割、模态变体、融合策略和LLM类型）都通过单个YAML文件声明性地指定，以便进行透明、版本控制的实验。评估是全面的，不仅涵盖准确性（召回率、nDCG），还涵盖准确性以外的指标：冷启动率、覆盖率、新颖性、多样性和公平性，支持严格的多指标基准测试。实验表明，基于LLM的文本增强和密集嵌入提取直接提高了冷启动和覆盖性能，特别是当强大的文本表示与视听描述符融合时。系统性的基准测试揭示了哪些嵌入和融合组合是通用的（跨模型表现良好）以及哪些是特定于骨干模型或指标的。总的来说，开源代码、嵌入和配置模板使其成为在多模态推荐系统中进行可重复、可扩展和公平比较的强大基础，并为在大规模电影推荐中原则性地集成生成式AI迈出了明确的一步。所有资源都可在https://recsys-lab.github.io/ViLLA-MMBench 公开获取。

ViLLA-MMBench is a benchmark suite for next-generation large language model-augmented multimodal movie recommendation research. This suite leverages the widely adopted MovieLens and MMTF-14K datasets, integrating and calibrating item-level dense embeddings from three modalities: audio, visual, and text. It also automatically augments missing or sparse item metadata using state-of-the-art LLMs (e.g., OpenAI GPT) to generate high-quality summaries for thousands of movies. All text (either original or LLM-augmented) is embedded using configurable dense encoders, yielding multiple pre-built embedding sets including OpenAI Ada, LLaMA-2, and Sentence-T5. Furthermore, the ViLLA-MMBench pipeline supports interchangeable early, middle, and late fusion operators (concatenation, PCA, CCA, and rank aggregation), and exposes a variety of backbone recommenders (MF, VAECF, VBPR, AMR, VMF) for ablation studies. All experimental parameters, including dataset splits, modality variants, fusion strategies, and LLM types, are declaratively specified via a single YAML file to enable transparent, version-controlled experiments. The evaluation is comprehensive, covering not only accuracy-related metrics (recall, nDCG) but also metrics beyond accuracy: cold start rate, coverage, novelty, diversity, and fairness, supporting rigorous multi-metric benchmarking. Experiments demonstrate that LLM-based text augmentation and dense embedding extraction directly improve cold start and coverage performance, especially when powerful text representations are fused with audio-visual descriptors. Systematic benchmarking reveals which embedding and fusion combinations are generalizable (perform well across models) and which are specific to backbone models or metrics. Overall, the open-source code, embeddings, and configuration templates make it a robust foundation for reproducible, scalable, and fair comparisons in multimodal recommendation systems, taking a clear step towards the principled integration of generative AI in large-scale movie recommendation. All resources are publicly available at https://recsys-lab.github.io/ViLLA-MMBench.

原始信息汇总

ViLLA-MMBench 数据集概述

数据集简介

• 名称：ViLLA-MMBench
• 类型：多模态电影推荐基准测试套件
• 用途：为LLM增强的多模态电影推荐提供统一基准框架
• 模态支持：视觉、音频和文本模态

项目结构

• villa_mmbench/ - 主包目录
  • data/ - 数据加载和处理模块
  • process/ - 核心处理和模型实现
  • utils/ - 实用函数和辅助工具
• colabs/ - 各种分析的Jupyter笔记本
• outputs/ - 生成的输出文件
• reclist/ - 推荐列表输出

数据处理模块

• 文本处理（基于LLM）
• 视觉特征（AVF、CNN）
• 音频特征（BLF、i-vector）

支持模型

• 协同过滤（CF）
• 视觉贝叶斯个性化排序（VBPR）
• 对抗性多媒体推荐（AMR）
• 视觉矩阵分解（VMF）
• 变分自编码器CF（VAECF）

快速开始

bash

克隆仓库

git clone [e-mail]:RecSys-lab/ViLLA-MMBench.git

创建并激活虚拟环境

python -m venv venv .venvScriptsactivate # Windows source venv/bin/activate # Linux/Mac

安装包

pip install -e .

相关资源

• GitHub地址：https://github.com/RecSys-lab/ViLLA-MMBench
• Google Colab使用指南：https://colab.research.google.com
• 框架通用测试：https://colab.research.google.com

搜集汇总

数据集介绍

构建方式

ViLLA-MMBench数据集通过整合MovieLens和MMTF-14K数据集中的多模态信息构建而成。具体而言，该数据集融合了音频（块级特征和i-vector）、视觉（CNN和AVF）以及文本（原始元数据和LLM生成的摘要）三种模态的密集嵌入。值得注意的是，数据集利用先进的大型语言模型（如OpenAI GPT）自动生成缺失或稀疏的电影元数据，从而为数千部电影提供了高质量的摘要。所有文本数据，无论是原始数据还是LLM增强数据，均通过可配置的密集编码器（如OpenAI Ada、LLaMA-2、Sentence-T5）进行嵌入处理，生成多组可直接使用的嵌入集合。

使用方法

ViLLA-MMBench数据集的使用方法灵活且模块化。研究人员可以通过配置YAML文件来指定数据集分割策略、模态变体、融合操作和LLM类型等参数。数据集支持多种推荐模型的训练和评估，包括矩阵分解、变分自编码器协同过滤以及内容感知模型。评估过程不仅涵盖准确性指标（如Recall、nDCG），还包括冷启动率、覆盖率、新颖性、多样性和公平性等多维度指标。数据集的模块化设计使得新模态或模型的集成变得简单，只需通过插件式加载器或子类化即可实现，从而为多模态推荐系统的研究提供了强大的基础支持。

背景与挑战

背景概述

ViLLA-MMBench是由意大利巴里理工大学和卢森堡大学的研究团队于2025年推出的多模态电影推荐基准测试套件。该数据集创新性地整合了MovieLens和MMTF-14K两大经典资源，通过大语言模型（LLM）技术自动补全稀疏的元数据，构建了包含音频（块级特征和i-vector）、视觉（CNN和AVF）及文本（原始与LLM增强）三模态对齐的密集嵌入表示。其核心研究在于解决长视频内容推荐中多模态特征融合的难题，特别关注生成式AI与传统推荐系统的有机结合。作为首个支持可配置早期/中期/晚期融合策略的基准平台，ViLLA-MMBench为推荐系统领域提供了涵盖准确性、冷启动率、覆盖率等多维度的标准化评估框架，显著推动了多模态推荐研究的可复现性与系统性比较。

当前挑战

ViLLA-MMBench面临的挑战主要体现在两个方面：领域问题层面，传统推荐系统难以有效捕捉电影内容中视觉、听觉和文本模态的复杂交互关系，尤其在处理冷启动项目和长尾分布时表现局限；构建过程层面，研究团队需要克服视频数据严格的版权限制，开发时序特征的紧凑表示方法，并解决多模态融合策略缺乏共识的难题。特别地，如何平衡LLM生成文本的语义丰富性与潜在偏见，以及设计可扩展的融合算子来适应不同的推荐模型架构，成为数据集构建过程中的关键技术挑战。

常用场景

经典使用场景

在多媒体推荐系统研究中，ViLLA-MMBench数据集被广泛用于评估和比较不同模态融合策略的性能。该数据集整合了音频、视觉和文本三种模态的特征，并利用大型语言模型（LLM）生成高质量的文本摘要，填补了传统电影推荐系统中文本信息稀疏或缺失的问题。研究者可以通过该数据集系统地探索早期、中期和晚期融合策略对推荐效果的影响，并验证不同推荐算法在冷启动和覆盖率等关键指标上的表现。

解决学术问题

ViLLA-MMBench数据集解决了多媒体推荐系统中的多个关键学术问题。首先，它通过LLM生成的文本摘要显著提升了冷启动场景下的推荐性能，填补了传统数据集中文本信息的不足。其次，数据集支持多种模态融合策略的比较研究，为学术界提供了探索最优融合方法的实验平台。此外，该数据集还支持多维度评估，包括准确性、覆盖率、新颖性和多样性等，推动了推荐系统研究从单一准确性指标向多维度综合评估的转变。

实际应用

在实际应用中，ViLLA-MMBench数据集为电影流媒体平台提供了强大的技术支持。基于该数据集训练的推荐系统能够更准确地理解电影内容的多模态特征，从而为用户提供更个性化的推荐。例如，平台可以利用音频和视觉特征识别电影的风格和情感基调，结合LLM生成的文本摘要理解剧情深度，最终生成更符合用户偏好的推荐列表。这种多模态融合的方法尤其适用于新上映电影或小众电影的推荐，有效解决了传统协同过滤在冷启动场景下的局限性。

数据集最近研究

最新研究方向

在多媒体推荐系统领域，ViLLA-MMBench数据集的最新研究方向聚焦于利用大型语言模型（LLMs）增强多模态电影推荐。该数据集通过整合音频、视觉和文本模态的密集嵌入，并利用先进的LLMs（如OpenAI GPT、LLaMA-2和Sentence-T5）自动生成高质量的影片摘要，显著提升了推荐系统的冷启动性能和覆盖率。研究重点包括多模态融合策略的优化（如早期融合、中期融合和晚期融合）、不同模态组合对推荐性能的影响，以及模型级融合方法的比较。此外，ViLLA-MMBench还支持全面的评估指标，涵盖准确性（如Recall和nDCG）和超越准确性的维度（如冷启动率、覆盖率和多样性），为多模态推荐系统的可重复性和可扩展性研究提供了坚实基础。

相关研究论文

• ViLLA-MMBench: A Unified Benchmark Suite for LLM-Augmented Multimodal Movie Recommendation

  意大利巴里理工大学电子与信息工程学院 & 卢森堡大学跨学科安全、可靠性与信任研究中心 · 2025年