Cross-Perspective Annotated Dataset for Dynamic Object-Level Interest Modeling in Cloud Gaming

本数据集是由南京邮电大学的研究人员创建的，旨在支持云游戏中的动态对象级兴趣建模。数据集包含来自《侠盗猎车手V》的501个3分钟视频剪辑和1503个游戏图像。每个图像对应两个标注的JSON文件，一个包含手动标注的感兴趣对象信息，另一个包含图像中所有对象的信息。数据集根据玩家的游戏速度分为三个类别：静止、低速和高速。每个类别中，场景进一步分为城市、乡村和高速公路。数据集包含了22个对象类别，并分析了影响玩家兴趣的主要因素，包括玩家的游戏速度、对象的大小和对象的速度。

This dataset was developed by researchers from Nanjing University of Posts and Telecommunications to support dynamic object-level interest modeling in cloud gaming. It contains 501 3-minute video clips and 1503 game screenshots sourced from *Grand Theft Auto V*. Each image is paired with two annotated JSON files: one holds manually annotated information of objects of interest, while the other records details of all objects appearing in the image. The dataset is divided into three categories based on players' in-game speed: stationary, low-speed, and high-speed. For each category, scenarios are further categorized into three types: urban, rural, and highway. The dataset covers 22 object categories, and analyzes the core factors influencing players' interest, including players' in-game speed, object size, and object movement speed.

搜集汇总

数据集介绍

构建方式

该数据集通过收集《侠盗猎车手V》的游戏片段构建而成，重点关注玩家在游戏过程中感兴趣的物体。数据收集过程包括从1分钟的游戏片段中提取20个3秒的视频剪辑，并由五名观察者手动标注感兴趣的物体边界框。随后，利用Mask2Former模型对帧中的物体进行语义分割，并结合密集光流方法估计物体的运动速度。每个图像对应两个JSON文件，分别包含手动标注的感兴趣物体信息和所有物体的语义分割结果。

特点

该数据集的特点在于其跨视角的动态物体级兴趣标注。数据集根据玩家的游戏内速度分为静止、低速和高速三种场景，并进一步细分为城市、乡村和高速公路等环境。每张图像包含多个感兴趣物体的标注，反映了玩家兴趣的多样性。此外，数据集分析了影响玩家兴趣的主要因素，包括玩家的游戏内速度、物体大小和物体速度，以及次要因素如颜色对比和物体形状。这些特点使得该数据集在支持细粒度兴趣物体提取方面具有显著优势。

使用方法

该数据集可用于研究玩家在云游戏环境中的兴趣建模和视频编码优化。研究人员可以通过分析数据集中的标注信息，探索玩家兴趣的动态变化及其影响因素。此外，数据集支持基于深度学习的兴趣区域提取方法，可用于优化视频编码策略，例如通过区分兴趣区域和非兴趣区域来降低带宽需求。数据集中的JSON文件提供了丰富的物体级信息，便于进行定量分析和模型训练。

背景与挑战

背景概述

Cross-Perspective Annotated Dataset for Dynamic Object-Level Interest Modeling in Cloud Gaming是由南京邮电大学的Lei Hongqin、Tang Haowei和Zhang Zhe等人于2025年提出的一个专注于云游戏环境中动态对象级兴趣建模的数据集。该数据集基于《侠盗猎车手V》（GTA V）的游戏片段构建，旨在解决云游戏场景中玩家兴趣对象的动态识别问题。传统的云游戏数据集多关注对象的位置信息，而忽略了对象间的语义关系及其独特特征，该数据集的提出填补了这一空白。通过收集501个视频片段和1503张游戏图像，并结合多观察者的兴趣标注，该数据集为云游戏中的兴趣区域（ROI）提取提供了更为精细的支持，对提升云游戏的用户体验（QoE）具有重要意义。

当前挑战

该数据集面临的挑战主要体现在两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，云游戏中的兴趣对象识别需要解决动态环境下的多因素影响，如玩家的游戏内速度、对象的大小和速度等，这些因素共同决定了玩家的注意力分布，传统的静态标注方法难以准确捕捉这种动态变化。在构建过程方面，数据集的标注需要综合考虑多个观察者的主观兴趣，确保标注的一致性和多样性；同时，由于游戏场景的复杂性，对象的三维空间关系在二维图像中的准确映射也是一个技术难点，需要通过像素级的大小计算和光学流方法来解决对象的距离和速度估计问题。此外，数据集的构建还需处理不同游戏场景（如城市、乡村和高速公路）下的对象类别分布不均问题，确保数据的代表性和平衡性。

常用场景

经典使用场景

在云游戏领域，动态对象级别的兴趣建模是一个关键研究方向。该数据集通过收集《侠盗猎车手V》（GTA V）的游戏片段，并标注玩家在游戏过程中感兴趣的对象，为研究人员提供了一个多视角、动态标注的数据集。其经典使用场景包括分析玩家在不同游戏速度（静止、低速、高速）下对对象的兴趣分布，以及研究对象的语义关系和独特特征对玩家注意力的影响。

实际应用

在实际应用中，该数据集为云游戏服务提供商优化视频传输提供了重要支持。通过识别玩家感兴趣的对象，服务商可以优先传输这些区域，从而在有限的带宽下提升玩家的体验质量（QoE）。例如，在高速游戏场景中，系统可以优先编码和传输道路和车辆对象，以减少延迟并提高画面质量。此外，数据集还可用于开发自适应比特率流媒体技术，进一步提升云游戏的性能和稳定性。

衍生相关工作

该数据集衍生了一系列经典研究工作，主要集中在视频编码和兴趣区域（ROI）提取领域。例如，基于数据集的动态兴趣建模方法被应用于HEVC和AV1等视频编码标准中，通过差异化编码策略提升压缩效率。此外，数据集的标注机制启发了多兴趣融合算法的开发，用于更准确地预测玩家注意力分布。相关研究还探索了结合对象语义关系和运动特征的深度学习模型，进一步推动了云游戏视觉优化技术的发展。