MobQA
收藏arXiv2025-08-15 更新2025-11-27 收录
下载链接：
https://github.com/CyberAgentAILab/mobqa
下载链接
链接失效反馈官方服务：
资源简介：
MobQA 是一个为评估大型语言模型 (LLM) 对人类移动数据语义理解能力的基准数据集，通过自然语言问答的方式进行。该数据集基于 Geolife GPS 数据集构建，包含 5,800 个高质量的问答对，涵盖三种互补的题型：事实检索、多项选择推理和自由式解释。问题涵盖了从日常到每周的粒度，用于评估主要 LLMs，结果显示在事实检索方面表现强劲，但在语义推理和解释问答方面存在显著局限性。
提供机构：
RIKEN AIP, The University of Tokyo, CyberAgent, Nara Institute of Science and Technology
创建时间：
2025-08-15
