Magic Mushroom

Magic Mushroom是一个用于评估大型语言模型在检索噪声侵蚀下的鲁棒性的自定义基准。该数据集由7,468个单跳和3,925个多跳问答对组成，每个问答对都配对有金标准和多种噪声文档。Magic Mushroom允许研究人员根据具体研究目标或应用场景灵活配置检索噪声的组合，以进行高度控制的评估。该数据集旨在解决现实世界检索环境中常见的检索噪声问题，并推动噪声鲁棒的检索增强生成系统的发展。