ChronoPlay

ChronoPlay是一个为游戏领域设计的动态RAG基准生成框架，它能够自动连续地生成游戏RAG基准。ChronoPlay利用双重动态更新机制来跟踪游戏内容的更新和玩家社区关注点的变化，并使用双重来源合成引擎从官方来源和玩家社区中提取信息，以确保生成的问题既准确又真实。该框架已在三个不同的游戏上实现，为游戏领域创建了第一个动态RAG基准，为评估RAG系统在复杂和现实条件下的性能提供了新的见解。

ChronoPlay is a dynamic RAG benchmark generation framework designed specifically for the gaming domain, which can automatically and continuously generate gaming RAG benchmarks. ChronoPlay adopts a dual dynamic update mechanism to track updates to game content and shifts in player community concerns, and leverages a dual-source synthesis engine to extract information from both official sources and player communities, ensuring that the generated questions are both accurate and authentic. This framework has been implemented across three distinct games, creating the first dynamic RAG benchmark for the gaming domain and providing novel insights into evaluating RAG system performance under complex and realistic conditions.

搜集汇总

数据集介绍

构建方式

在游戏信息检索增强生成领域，ChronoPlay框架通过双源数据合成机制构建动态评测基准。该框架整合权威知识库与玩家社区数据，从官方游戏维基和更新公告中提取结构化知识片段，同时从真实玩家讨论中挖掘问题模板和用户画像。基于多阶段合成流程，系统首先利用假设问答生成技术增强语义检索效果，随后结合用户画像生成个性化问题，最终通过数据合成代理的迭代优化机制确保生成数据的质量与多样性。

特点

该数据集的核心特征体现在其对游戏领域双重动态性的精准建模。一方面，数据集通过知识演化机制跟踪游戏内容的持续更新，利用命名实体识别技术识别受影响的游戏实体并自动更新相关问答对。另一方面，用户兴趣漂移机制实时监测玩家社区话题分布的变化，通过加权Jensen-Shannon散度检测显著兴趣转移，并动态调整评测问题的主题分布。这种双重动态更新机制确保了数据集始终反映游戏生态的最新状态。

使用方法

使用该数据集时，研究者可通过其分阶段的基准切片评估检索增强生成系统在游戏生命周期中的性能表现。数据集提供基于时间序列的评测切片，每个切片包含对应的知识库和评估数据集。评估过程涵盖检索性能与生成质量两个维度，其中检索性能通过标准信息检索指标衡量，生成质量则采用基于大语言模型的自动评估方法，从正确性和忠实性两个角度进行多维度评测。这种动态评估方法能够揭示系统在复杂现实条件下的性能波动。

背景与挑战

背景概述

ChronoPlay数据集由腾讯与香港中文大学的研究团队于2025年联合提出，旨在解决游戏领域中检索增强生成系统缺乏动态评估基准的核心问题。该数据集聚焦于游戏生态中知识演化与用户兴趣漂移的双重动态特性，通过自动化框架整合官方知识库与玩家社区数据，构建了首个面向游戏领域的动态RAG基准。其创新性体现在通过双重更新机制实时追踪游戏版本更新与玩家关注点变迁，为评估模型在动态环境中的适应性提供了标准化工具，推动了游戏智能助手与支持系统的发展。

当前挑战

ChronoPlay面临的领域挑战在于解决游戏环境中知识持续更新与玩家兴趣动态变化对RAG系统性能的影响，确保模型在双重动态条件下保持准确性与时效性。构建过程中的技术挑战包括：设计自动化合成流程以平衡官方知识的准确性与玩家问题的真实性，开发实体识别与主题漂移检测算法以应对游戏术语多样性和社区话题快速变迁，以及建立多阶段质量控制机制避免生成数据出现语义重复或逻辑偏差。

常用场景

衍生相关工作

该数据集的发布催生了多个重要研究方向。在基准构建方法层面，启发了面向电商、社交媒体等动态领域的专用评估框架开发。在模型架构设计方面，推动了具有记忆更新机制和兴趣感知模块的RAG系统创新。部分研究团队基于ChronoPlay揭示的性能波动规律，提出了动态负样本挖掘、时序感知重排序等新技术。这些衍生工作共同深化了我们对动态环境下信息检索系统行为规律的理解，为构建下一代自适应人工智能系统奠定了坚实基础。

数据集最近研究

最新研究方向

在动态游戏领域，检索增强生成（RAG）系统的评估面临双重动态性挑战，即游戏知识持续更新与玩家兴趣漂移的复杂交互。ChronoPlay框架通过双源合成引擎和双动态更新机制，实现了自动化基准生成，确保问题兼具事实准确性和玩家真实性。前沿研究聚焦于解析知识演化和用户兴趣漂移对RAG性能波动的独立影响，揭示传统静态基准在动态环境中易产生评估偏差。该框架已应用于《消逝的光芒2》《沙丘：觉醒》等游戏，为构建自适应、用户中心化的评估范式提供了新路径，并推动RAG技术在电商、社交媒体等演变型领域的拓展应用。

相关研究论文

• 通过

  腾讯 · 2025年