Clash Royale Object Detection Dataset

本研究设计了一个用于训练的生成物体检测数据集，针对Clash Royale游戏。数据集基于游戏场景的切片图像，通过AI辅助标注和分割技术生成。它包含不同层级的游戏单元，如地面部队、防御塔、空中部队等，以及它们的位置、类别、派别和健康信息。数据集的构建目的是为了训练物体检测模型，以支持非嵌入式AI在Clash Royale中的实时决策和游戏玩法。This study develops a training-oriented generative object detection dataset tailored for the mobile game Clash Royale. The dataset is generated from sliced in-game scene images using AI-assisted annotation and segmentation technologies. It includes game units of various tiers, such as ground forces, defensive towers, air units, and more, alongside their positional coordinates, category labels, faction affiliations, and health status information. The dataset is constructed with the purpose of training object detection models to support non-embedded AI in implementing real-time decision-making and gameplay operations within Clash Royale.

搜集汇总

数据集介绍

构建方式

Clash Royale Object Detection Dataset的构建采用了创新的生成式方法，旨在解决传统手动标注效率低下的问题。研究团队通过结合先进的目标检测模型（如YOLOv8）和光学字符识别技术，设计了一套高效的数据生成流程。具体而言，该流程首先从游戏视频流中提取原始图像，利用预训练模型进行辅助标注，再通过Segment Anything Model（SAM）进行前景分割，最终生成高质量的切片数据集。此外，研究团队还开发了复杂的数据增强策略，包括随机背景选择、防御塔动态添加以及部队单元的智能分布，以模拟真实游戏场景的多样性。整个生成算法通过多层级的单元绘制和覆盖率控制机制，确保了生成数据的准确性和丰富性。

使用方法

该数据集专为训练非嵌入式游戏AI系统而设计，主要支持端到端的离线强化学习流程。在使用时，研究人员首先利用生成数据集训练YOLOv8等目标检测模型，通过多模型集成策略（如YOLOv8-l×2）处理不同尺寸的游戏单位。检测结果与OCR获取的文本信息（如游戏时间和圣水数量）进行特征融合，形成18×32×15维度的网格化状态表示。该状态表示与手牌信息共同输入StARformer架构的决策模型，通过时空注意力机制学习最优策略。为应对动作执行帧稀疏的问题，数据集特别设计了延迟动作预测机制和重采样策略，将动作帧比例从4%提升至24.92:1.04的平衡分布。实际部署时，整个感知-决策流程在移动设备上可实现360ms的实时响应。

背景与挑战

背景概述

Clash Royale Object Detection Dataset由西安交通大学人工智能与机器人研究所的吴天阳等人于2024年提出，旨在解决卡牌类即时战略游戏的非嵌入式AI训练问题。该数据集针对热门游戏《皇室战争》开发，通过视觉输入实现实时自主对战。传统嵌入式AI直接获取游戏底层状态信息，而人类玩家依赖含噪视觉数据，导致竞争不公平。该数据集填补了该领域目标检测数据集的空白，采用生成式方法高效构建标注图像，为后续离线强化学习研究奠定基础。

当前挑战

该数据集面临多重挑战：在领域问题层面，卡牌类即时战略游戏具有庞大状态空间、稀疏奖励和不完全信息等特性，要求模型能处理复杂的时空动态；在构建过程中，需克服游戏元素尺寸差异大（最小目标仅占图像0.1%）、类别间外观相似度高（如不同兵种卡牌）等技术难点。研究者创新性地采用分层生成算法和覆盖阈值过滤机制，通过SAM模型辅助标注，最终实现检测精度mAP达85.2%的突破。

常用场景

经典使用场景

Clash Royale Object Detection Dataset在非嵌入式游戏AI研究中扮演了关键角色，特别是在基于视觉输入的强化学习训练中。该数据集通过生成式标注方法，高效地解决了卡牌类即时战略游戏中复杂场景的目标检测问题，为研究者提供了高质量的图像和标注数据，用于训练和验证目标检测模型。

解决学术问题

该数据集主要解决了卡牌类即时战略游戏中非嵌入式AI开发的两大核心问题：一是通过生成式标注方法克服了手动标注的高成本问题，二是为强化学习代理提供了准确的视觉输入，使其能够在复杂游戏环境中进行实时决策。这一突破为非嵌入式游戏AI的研究开辟了新路径。

实际应用

在实际应用中，该数据集支持开发能够在移动设备上运行的实时游戏AI系统。通过结合目标检测和光学字符识别技术，AI代理能够像人类玩家一样通过视觉输入感知游戏状态，并做出实时决策，成功击败游戏内置的AI对手，展示了其在游戏AI领域的实用价值。

数据集最近研究

最新研究方向

近年来，Clash Royale目标检测数据集在非嵌入式游戏AI领域的研究取得了显著进展。该数据集通过生成式方法构建，结合了先进的YOLOv8目标检测模型和SAM分割技术，为强化学习代理提供了高质量的视觉输入。研究热点集中在离线强化学习算法的优化，特别是决策变换器（Decision Transformer）和StARformer架构的应用，以解决游戏状态空间庞大、奖励稀疏和信息不完全等挑战。这一方向不仅推动了卡牌类即时策略游戏AI的发展，也为移动设备上的实时决策系统提供了新的技术路径，具有重要的学术价值和产业应用前景。

相关研究论文

• Playing Non-Embedded Card-Based Games with Reinforcement Learning

  西安交通大学人工智能与机器人研究所 · 2025年