MultiBench

MultiBench，一个系统统一的大规模多模态学习基准，涵盖 15 个数据集、10 个模态、20 个预测任务和 6 个研究领域。 MultiBench 提供自动化的端到端机器学习管道，可简化和标准化数据加载、实验设置和模型评估。为了实现整体评估，MultiBench 提供评估方法来研究 (1) 泛化，(2) 时间和空间复杂性，以及 (3) 模态稳健性。

MultiBench is a systematically unified large-scale multimodal learning benchmark encompassing 15 datasets, 10 modalities, 20 prediction tasks, and 6 research domains. MultiBench provides automated end-to-end machine learning pipelines that simplify and standardize data loading, experimental setup, and model evaluation. To enable comprehensive evaluation, MultiBench offers evaluation methodologies for investigating (1) generalization, (2) temporal and spatial complexity, and (3) modality robustness.

搜集汇总

背景与挑战

背景概述

MultiBench是一个系统化的大规模多模态学习基准，覆盖15个数据集、10种模态、20个预测任务和6个研究领域，提供自动化端到端机器学习管道以简化数据加载和评估。它支持对泛化、时空复杂性和模态稳健性的整体评估，由多所大学于2021年联合发布。