MultiBench 大规模多模态学习基准数据集

MultiBench 是一个系统性的且统一的大规模多模态学习基准，涵盖 15 个数据集，10 个模态，20 个预测任务，6 个研究领域。 MultiBench 提供自动化的端到端机器学习管道，可简化和标准化数据加载、实验设置和模型评估。为了实现整体评估，MultiBench 提供评估方法来研究 (1) 泛化；(2) 时间和空间复杂性，以及 (3) 模态稳健性。

MultiBench is a systematic and unified large-scale multimodal learning benchmark that covers 15 datasets, 10 modalities, 20 prediction tasks and 6 research domains. MultiBench provides an automated end-to-end machine learning pipeline, which simplifies and standardizes data loading, experimental setup and model evaluation. To enable holistic evaluation, MultiBench offers evaluation methodologies to study (1) generalization, (2) temporal and spatial complexity, and (3) modality robustness.

搜集汇总

背景与挑战

背景概述

MultiBench是一个系统性的大规模多模态学习基准数据集，涵盖15个数据集、10个模态和20个预测任务，提供自动化机器学习管道和全面的评估方法，用于研究泛化、复杂性和模态稳健性。