OpenMEVA

OpenMEVA 是评估开放式故事生成指标的基准。 OpenMEVA 提供了一个全面的测试套件来评估指标的能力，包括 (a) 与人类判断的相关性，(b) 对不同模型输出和数据集的泛化，(c) 判断故事连贯性的能力，以及 (d)对扰动的鲁棒性。为此，OpenMEVA 包括手动注释的故事和自动构建的测试示例。