SberQuAD (Sberbank Question Answering Dataset)

俄语中斯坦福 SQuAD 的大规模类似物 - 是一种宝贵的资源，尚未正确呈现给科学界。查看 DeepPavlov 链接 模型结果 模型配置 EM (dev) F-1 (dev) DeepPavlov RuBERT 66.30+-0.24 84.60+-0.11 DeepPavlov 多语言 BERT 64.35+-0.39 83.39+-0.08 DeepPavlov R-Net 60.62 80.04

俄语版斯坦福问答数据集（Stanford Question Answering Dataset，SQuAD）的大规模同类数据集，是极具价值的研究资源，但目前尚未被科学界合理地推广与应用。可通过DeepPavlov相关链接获取模型配置与实验结果信息，各模型在开发集（development set，dev）上的精确匹配率（Exact Match，EM）与F1分数（F1）结果如下：
DeepPavlov RuBERT：66.30±0.24，84.60±0.11
DeepPavlov 多语言BERT（Multilingual BERT）：64.35±0.39，83.39±0.08
DeepPavlov R-Net：60.62，80.04

搜集汇总

背景与挑战

背景概述

SberQuAD是一个俄语阅读理解数据集，类似于斯坦福的SQuAD，于2020年由俄罗斯联邦储蓄银行等机构联合发布。