catbAbI QA-mode (concatenated-bAbI)

我们的目标是改进 bAbI 基准，作为开发智能对话代理的一种手段。为此，我们提出了 concatenated-bAbI (catbAbI)：一个无限序列的 bAbI 故事。 catbAbI 是从 bAbI 数据集生成的，在训练期间，从任何任务中抽取一个随机样本/故事而无需替换，并将其连接到正在进行的故事中。 catbAbI 的预处理解决了几个问题：它删除了支持事实，留下嵌入故事中的问题，在问号后插入正确答案，并将完整样本标记为单个单词序列。因此，catbAbI 旨在以自回归方式进行训练，类似于闭卷问答。 catbAbI 模型可以通过两种不同的方式进行训练：语言建模模式（LM-mode）或问答模式（QA-mode）。在 LM 模式下，catbAbI 模型像自回归词级语言模型一样进行训练。在 QA 模式下，catbAbI 模型仅被训练来预测作为问题答案的标记——使其更类似于常规 bAbI。 QA 模式只是通过掩盖非答案预测的损失来实现的。在这两种训练模式下，模型性能仅通过回答问题时的准确性和困惑度来衡量。