ChronoPlay-QA

ChronoPlay-QA是一个用于游戏领域检索增强生成(RAG)系统的动态基准测试数据集。该数据集通过双动态更新机制跟踪游戏内容演变和玩家社区关注点变化，结合官方文档和真实玩家社区模式，生成反映真实玩家关注的高质量问答对。数据集包含时间知识语料库和多个评估片段的生成问答对，专门设计用于在复杂现实条件下评估模型性能。

ChronoPlay-QA is a dynamic benchmark dataset for retrieval-augmented generation (RAG) systems in the gaming domain. This dataset tracks the evolution of game content and shifts in player community concerns via a dual dynamic update mechanism, incorporates official documentation and real player community patterns to generate high-quality question-answer pairs that reflect genuine player concerns. The dataset includes a temporal knowledge corpus and generated question-answer pairs for multiple evaluation segments, and is specifically designed to assess model performance under complex real-world conditions.

原始信息汇总

ChronoPlay 数据集概述

数据集基本信息

• 名称：ChronoPlay
• 类型：游戏领域RAG基准测试数据集
• 框架定位：首个针对游戏领域的动态RAG基准测试框架

核心特性

• 双动态更新机制：追踪游戏内容演变和社区关注点变化
• 双源合成引擎：结合官方文档和真实玩家社区模式
• 玩家中心真实性：确保生成问题反映真实玩家关切
• 质量保证流程：自动化筛选和优化高质量问答对

数据集构成

游戏覆盖范围

游戏名称	时间段数量	问答对数量	时间跨度
Dune: Awakening	6	3,000	2025年6月25日-2025年8月25日
Dying Light 2	5	2,000	2022年1月-2025年7月
PUBG Mobile	7	1,400	2024年1月-2025年7月

数据组件

1. 时序知识语料库 (data/{游戏名称}/corpus/)

   • 按时间段分段捕捉游戏演变
   • 包含时序和永恒内容
   • 带有命名实体标注

2. 生成问答对 (data/{游戏名称}/segments/segment_*/)

   • 每个时间段的高质量合成问答对
   • 使用双源合成生成（官方文档+玩家模式）
   • 包含真实答案和参考上下文

3. 问题模板 (data/question_templates.jsonl)

   • 12,000+精选问题模板
   • 覆盖多样化主题：游戏玩法、漏洞、功能、性能等
   • 从真实玩家问题中提取

4. 玩家角色 (data/user_persona.jsonl)

   • 反映不同玩家类型的角色档案
   • 支持生成符合玩家关切的真实问题

下载选项

• 完整数据集：https://share.weiyun.com/HGXd33CW（密码：chrono）
• 排行榜问答数据集：https://huggingface.co/datasets/leoner24/ChronoPlay-QA

评估指标

• 检索指标：Recall@K、F1@K、MRR、NDCG
• 生成指标：正确性（0-2）、忠实度（0-2）

许可证

• MIT许可证

引用信息

bibtex @article{he2025chronoplay, title={ChronoPlay: A Framework for Modeling Dual Dynamics and Authenticity in Game RAG Benchmarks}, author={He, Liyang and Zhang, Yuren and Zhu, Ziwei and Li, Zhenghui and Tong, Shiwei}, journal={arXiv preprint arXiv:2510.18455}, year={2025} }

搜集汇总

数据集介绍

构建方式

在游戏信息检索增强生成领域，ChronoPlay-QA数据集的构建采用了双动态更新机制，通过追踪游戏内容演进与玩家社区关注点的双重变化，确保数据的时间维度覆盖。该数据集融合了官方文档的权威性与玩家社群的现实需求，借助自动化质量保障流程对生成的问答对进行筛选与优化，从而构建出具备时序特性的知识语料库与高质量问答数据集。

使用方法

用户可通过下载完整数据集或仅获取问答子集，将数据置于指定目录后，利用内置脚本进行RAG流水线评估。数据集支持分段检索与生成任务，用户可选择参与官方排行榜比较系统性能，或复现论文中的双动态实验，全面分析模型在时序变化下的表现。

背景与挑战

背景概述

在信息检索与生成系统日益融入动态领域的背景下，ChronoPlay-QA数据集于2025年由何丽阳等研究人员提出，旨在解决在线游戏领域中检索增强生成系统缺乏标准化评估基准的问题。该数据集聚焦于游戏内容更新与玩家社区关注点交互的双重动态性，通过整合官方文档与真实玩家模式，构建了首个针对游戏领域的动态RAG基准，显著推动了复杂现实条件下模型性能的评估研究。

当前挑战

该数据集致力于应对游戏领域RAG系统在双重动态演化中的核心挑战，包括处理游戏内容频繁更新与社区兴趣转移的同步影响，以及确保生成问题能真实反映玩家关切。在构建过程中，挑战涉及从多源异构数据中提取时序知识语料，并通过自动化流程合成高质量问答对，同时维持数据在时间维度上的连贯性与准确性。

常用场景

解决学术问题

该数据集主要解决了游戏领域RAG系统评估标准缺失的学术难题，特别是针对双重动态特性的建模挑战。通过构建包含时间分段知识库和真实玩家问题模式的数据结构，为研究社区提供了量化分析模型在动态环境下的性能衰退、知识更新效率等关键指标的工具。其意义在于建立了游戏领域RAG评估的基准框架，推动了动态环境下信息检索与生成模型的研究进展，为理解模型在复杂现实场景中的行为模式提供了重要支撑。

实际应用

在实际应用层面，ChronoPlay-QA数据集为游戏开发商和社区平台提供了优化智能客服系统的测试基准。游戏公司可利用该数据集评估其知识问答系统在新版本发布后的响应准确性，及时发现系统在理解玩家真实需求方面的不足。社区平台则能基于数据集构建更精准的玩家帮助系统，通过模拟不同玩家角色的问题模式，提升对多样化用户群体的服务覆盖能力，最终改善玩家体验并降低人工客服成本。

数据集最近研究

最新研究方向

在游戏信息检索增强生成领域，ChronoPlay-QA数据集通过建模双重动态性机制，为评估RAG系统在动态游戏环境中的适应性提供了创新基准。该数据集聚焦游戏内容更新与玩家社区关注点演变的交互作用，结合官方文档与真实玩家行为模式生成高质量问答对，有效解决了传统基准在时效性和真实性上的局限。当前研究热点集中于利用该数据集探索时序感知检索算法、动态知识融合策略以及玩家意图建模方法，推动游戏智能助手在复杂场景下的准确性和鲁棒性提升。这一框架不仅填补了游戏领域动态评估的空白，更为跨领域时序敏感型RAG系统的设计提供了重要参考范式。