ChronoPlay-QA
收藏资源简介：
ChronoPlay-QA是一个用于游戏领域检索增强生成(RAG)系统的动态基准测试数据集。该数据集通过双动态更新机制跟踪游戏内容演变和玩家社区关注点变化，结合官方文档和真实玩家社区模式，生成反映真实玩家关注的高质量问答对。数据集包含时间知识语料库和多个评估片段的生成问答对，专门设计用于在复杂现实条件下评估模型性能。
ChronoPlay-QA is a dynamic benchmark dataset for retrieval-augmented generation (RAG) systems in the gaming domain. This dataset tracks the evolution of game content and shifts in player community concerns via a dual dynamic update mechanism, incorporates official documentation and real player community patterns to generate high-quality question-answer pairs that reflect genuine player concerns. The dataset includes a temporal knowledge corpus and generated question-answer pairs for multiple evaluation segments, and is specifically designed to assess model performance under complex real-world conditions.
ChronoPlay 数据集概述
数据集基本信息
- 名称：ChronoPlay
- 类型：游戏领域RAG基准测试数据集
- 框架定位：首个针对游戏领域的动态RAG基准测试框架
核心特性
- 双动态更新机制：追踪游戏内容演变和社区关注点变化
- 双源合成引擎：结合官方文档和真实玩家社区模式
- 玩家中心真实性：确保生成问题反映真实玩家关切
- 质量保证流程：自动化筛选和优化高质量问答对
数据集构成
游戏覆盖范围
| 游戏名称 | 时间段数量 | 问答对数量 | 时间跨度 |
|---|---|---|---|
| Dune: Awakening | 6 | 3,000 | 2025年6月25日-2025年8月25日 |
| Dying Light 2 | 5 | 2,000 | 2022年1月-2025年7月 |
| PUBG Mobile | 7 | 1,400 | 2024年1月-2025年7月 |
数据组件
-
时序知识语料库 (
data/{游戏名称}/corpus/)- 按时间段分段捕捉游戏演变
- 包含时序和永恒内容
- 带有命名实体标注
-
生成问答对 (
data/{游戏名称}/segments/segment_*/)- 每个时间段的高质量合成问答对
- 使用双源合成生成（官方文档+玩家模式）
- 包含真实答案和参考上下文
-
问题模板 (
data/question_templates.jsonl)- 12,000+精选问题模板
- 覆盖多样化主题：游戏玩法、漏洞、功能、性能等
- 从真实玩家问题中提取
-
玩家角色 (
data/user_persona.jsonl)- 反映不同玩家类型的角色档案
- 支持生成符合玩家关切的真实问题
下载选项
- 完整数据集：https://share.weiyun.com/HGXd33CW（密码：chrono）
- 排行榜问答数据集：https://huggingface.co/datasets/leoner24/ChronoPlay-QA
评估指标
- 检索指标：Recall@K、F1@K、MRR、NDCG
- 生成指标：正确性（0-2）、忠实度（0-2）
许可证
- MIT许可证
引用信息
bibtex @article{he2025chronoplay, title={ChronoPlay: A Framework for Modeling Dual Dynamics and Authenticity in Game RAG Benchmarks}, author={He, Liyang and Zhang, Yuren and Zhu, Ziwei and Li, Zhenghui and Tong, Shiwei}, journal={arXiv preprint arXiv:2510.18455}, year={2025} }
