continual-eval

Continual Eval 是一个基于时间戳新闻文章自动生成的问答对数据集，专为持续学习评估设计。该数据集旨在评估语言模型是否能回答特定时间段事件的问题，支持随着每月新数据的到来进行持续/时间性评估。数据集包含两种配置：'simple'（单文档事实型问答）和 'multihop'（需要从两篇及以上文章中获取信息的多文档推理问答）。当前版本包含 2024 年 11 月的时间窗口数据，其中 'simple' 配置有 181 个样本，'multihop' 配置有 14 个样本，涵盖英语和土耳其语，涉及商业、政治、体育、科技和娱乐等多个领域。每个样本包含唯一标识符、问题、答案、证据文本、来源文档信息、发布日期、语言代码、时间窗口、生成模型、法官验证结果、质量评分、主题领域和种子风格来源等字段。数据集采用 MIT 许可证发布。