OFFSIDE

OFFSIDE数据集是一个基于足球转会谣言的评估多模态大型语言模型（MLLMs）中消除错误信息能力的基准数据集。该数据集包含80名球员的15680条记录，提供了四个测试集来评估遗忘效果、泛化性、实用性和鲁棒性。OFFSIDE支持选择性遗忘和纠正性再学习等高级设置，并特别支持仅通过纯文本数据遗忘的单模态遗忘。该数据集为MLLMs的遗忘和再学习提供了一个全面的框架，旨在解决隐私泄露和错误信息传播等问题。

The OFFSIDE dataset is a benchmark dataset for evaluating the misinformation mitigation capability of multimodal large language models (MLLMs) based on football transfer rumors. This dataset contains 15,680 records across 80 players, and provides four test sets for evaluating forgetting effect, generalization, practicality and robustness. OFFSIDE supports advanced settings such as selective forgetting and corrective relearning, and specifically supports unimodal forgetting that only relies on plain text data for forgetting operations. This dataset provides a comprehensive framework for forgetting and relearning in MLLMs, aiming to address issues such as privacy leakage and misinformation propagation.

搜集汇总

数据集介绍

构建方式

在足球转会谣言研究领域，OFFSIDE数据集通过严谨的人工标注流程构建而成。研究团队从20个英超俱乐部中筛选80名球员，为每位球员精心采集8张代表不同职业阶段的真实图像，并针对每张图像构建14组视觉问答对。数据构建过程涵盖图像筛选、文本描述生成和图文关联标注三个阶段，所有内容均经过足球领域专家双重校验，确保数据质量与真实性。该数据集最终形成15.68K条标注记录，其中包含7.84K多模态遗忘样本和同等规模的单模态遗忘样本。

特点

该数据集具备四大核心特征：其图文关联设计支持选择性遗忘，可精准擦除球员转会费等隐私信息而保留身高、年龄等共享属性；通过分设遗忘集、保留集、测试集和再学习集，构建了完整的评估体系；特别引入视觉谣言场景，考察模型对图像中嵌入错误信息的处理能力；创新性地融合了单模态遗忘设置，为研究多模态大语言模型的知识存储机制提供独特视角。这些特性使OFFSIDE能全面评估遗忘效果、模型效用和鲁棒性。

使用方法

研究者可基于该数据集开展四类实验：完整遗忘任务需消除特定实体全部图文关联；选择性遗忘任务要求仅去除隐私信息而保留共享知识；校正再学习任务模拟持续学习场景，评估遗忘知识的可恢复性；单模态遗忘任务则通过纯文本输入检验传统大语言模型遗忘方法的迁移能力。评估时需依次进行监督微调、遗忘处理和再学习三个阶段，并采用分类准确率、生成质量和事实性评分等指标综合衡量模型性能。

背景与挑战

背景概述

OFFSIDE数据集于2025年由哈尔滨工业大学、伊利诺伊大学厄巴纳-香槟分校及香港科技大学（广州）等机构联合发布，聚焦于多模态大语言模型中的机器遗忘研究。该数据集以足球转会市场谣言为背景，构建了包含15.68K条手工标注视觉问答对的基准测试框架，旨在解决多模态环境下错误信息的定向消除问题。通过引入完整遗忘、选择性遗忘、矫正再学习与单模态遗忘四大场景，OFFSIDE填补了现有基准在图像多样性不足与评估维度单一方面的空白，为多模态模型安全治理提供了关键方法论支撑。

当前挑战

该数据集针对多模态错误信息消除任务，需解决三大核心挑战：其一，视觉谣言遗忘难题，即当错误信息嵌入图像时，现有方法难以在保持模型功能的前提下消除视觉语义关联；其二，选择性遗忘精度不足，现有技术易在消除私有信息时破坏跨模态共享知识；其三，遗忘鲁棒性薄弱，模型易受提示攻击或通过简单再学习快速恢复已遗忘内容。构建过程中面临真实图像标注复杂性挑战，需人工筛选640张球员图像并建立14类问答对的精细模态关联，同时确保文本-视觉交叉验证的严谨性。

常用场景

经典使用场景

在多媒体大语言模型安全研究领域，OFFSIDE数据集被广泛应用于评估模型对错误信息的遗忘能力。该数据集基于足球转会市场谣言构建，包含15.68K条手动标注的视觉问答对，通过四个测试集全面评估遗忘效果、泛化性、效用性和鲁棒性。研究者利用该数据集验证模型在选择性遗忘、纠正性再学习等复杂场景下的表现，为多媒体模型的安全部署提供关键基准。

解决学术问题

OFFSIDE数据集有效解决了多媒体大语言模型在机器遗忘研究中面临的三大核心问题：传统基准缺乏图像多样性导致的评估偏差、现有方法难以处理视觉模态中的有害信息、以及遗忘过程对模型整体性能的影响评估不足。通过构建真实世界的足球转会谣言场景，该数据集为研究多模态知识的选择性擦除、跨模态遗忘一致性等前沿课题提供了标准化实验平台，推动了机器遗忘理论的发展。

衍生相关工作

该数据集催生了多模态机器遗忘领域的重要研究进展。基于OFFSIDE的评估结果，研究者提出了针对视觉谣言的特异性遗忘算法，改进了传统梯度上升方法在多媒体场景的局限性；其选择性遗忘框架启发了MMUNLEARNER等新型架构的开发，实现了视觉模式与文本知识的解耦处理；此外，数据集揭示的灾难性遗忘与机器遗忘的关联性，推动了持续学习与安全遗忘的交叉研究，为构建更稳健的多媒体AI系统奠定基础。