Hill Climb Racing AI Dataset - Countryside

该数据集包含来自《Hill Climb Racing》游戏中Countryside关卡的29,278个游戏画面帧。每个帧都标注了三种可能的驾驶动作之一：加速（0）、刹车（1）或无动作（2）。数据集文件为hcr_dataset.npz，其中X为(29278, 64, 64, 3)的RGB游戏画面帧，y为(29278,)的整数标签。所有UI元素（如燃料条、踏板、分数、硬币和计时器）都被涂黑以避免干扰特征并确保一致的学习效果。

This dataset contains 29,278 in-game screen frames from the Countryside level of the game *Hill Climb Racing*. Each frame is annotated with one of three possible driving actions: acceleration (0), braking (1), or no action (2). The dataset is stored in the file `hcr_dataset.npz`, where the array `X` consists of RGB in-game screen frames with a shape of (29278, 64, 64, 3), and the array `y` is an integer label array with a shape of (29278,). All UI elements including the fuel bar, pedals, score, coins, and timer have been blacked out to avoid interfering with feature learning and ensure consistent learning outcomes.

原始信息汇总

Hill Climb Racing AI 数据集概述

数据集基本信息

• 数据集名称: Hill Climb Racing AI Dataset - Countryside
• 数据来源: Hill Climb Racing 游戏 Countryside 关卡
• 数据规模: 29,278 个游戏画面帧
• 数据格式: NPZ 压缩文件

数据内容描述

数据特征

• 输入数据 (X): 游戏画面帧，尺寸为 64×64 RGB 图像
• 数据维度: (29278, 64, 64, 3)
• 预处理: 所有非游戏元素（燃料条、硬币、分数计数器、踏板等）已被涂黑处理

标签信息

• 输出标签 (y): 驾驶动作标签，共 3 类
• 标签维度: (29278,)
• 标签对应关系:
  • 0: 加速 (Accelerate)
  • 1: 刹车 (Brake)
  • 2: 无动作 (None)

数据集用途

• 应用场景: 训练视觉基础的自动驾驶代理
• 学习方法: 监督学习下的行为克隆
• 目标: 通过卷积神经网络从游戏画面预测驾驶动作

数据获取

• 数据集文件: hcr_dataset.npz
• 公开地址: https://www.kaggle.com/datasets/fahzainsaiyed/hill-climb-racing-gameplay-countryside

相关模型

• 模型名称: Hill Climb Racing AI Model (Countryside)
• 模型类型: 卷积神经网络 (CNN)
• 模型地址: https://www.kaggle.com/models/fahzainsaiyed/hillclimber

搜集汇总

数据集介绍

构建方式

在自动驾驶行为克隆研究领域，该数据集通过定制化帧捕获脚本系统性地采集《Hill Climb Racing》游戏乡村关卡的实际操作画面。采集过程中采用动态标注机制，将每帧游戏画面与对应的键盘操作指令精确关联，形成包含加速、刹车与无操作的三类标注样本。为确保模型专注学习驾驶决策逻辑，通过图像掩膜技术将燃料条、金币计数等界面元素统一置黑，最终构建出包含29,278帧标准化图像的数据集合。

特点

该数据集具备多维度技术特征：其视觉数据采用64×64像素的标准化RGB格式，在保留地形纹理细节的同时优化计算效率；标注体系遵循离散化动作空间设计，涵盖车辆控制的核心操作维度。数据预处理过程中通过界面元素屏蔽技术消除认知干扰，使卷积神经网络能专注于地形特征与驾驶策略的关联学习。数据集以压缩格式存储，既确保数据完整性又便于分布式处理，为视觉决策模型研究提供高质量基准。

使用方法

研究者可通过两种路径利用该数据集：直接加载预训练模型实现实时游戏代理控制，运行脚本即可激活屏幕捕获与决策推理的完整流程；亦可基于原始数据实施定制化训练，依次执行数据捕获、界面净化、数据集构建与模型训练等标准化流程。训练阶段采用早停机制与权重平衡策略优化模型性能，最终通过实时推理模块将训练成果转化为具身智能体的持续交互能力。

背景与挑战

背景概述

在自动驾驶与游戏智能体研究领域，视觉驱动的行为克隆技术日益受到关注。Hill Climb Racing AI Dataset - Countryside 数据集由独立研究者于近期构建，专注于通过卷积神经网络模仿人类玩家在《Hill Climb Racing》游戏乡村关卡中的驾驶行为。该数据集包含29,278帧经预处理的游戏画面，每帧标注加速、刹车或无操作三类动作，旨在探索纯视觉输入下的实时决策能力，为轻量级强化学习与模仿学习提供了重要实验基础。

当前挑战

该数据集致力于解决游戏环境中基于视觉的端到端驾驶策略学习问题，其核心挑战在于模型需从动态地形与物理交互中提取有效特征。构建过程中面临双重困难：一是需通过界面元素掩蔽技术消除燃料条与计分板等干扰信息，防止模型学习无关特征；二是动作标签存在天然不平衡性，刹车样本稀少可能导致策略保守化，需通过数据增强与权重调整保障行为多样性。

常用场景

经典使用场景

在自动驾驶行为克隆研究领域，该数据集为基于视觉输入的端到端驾驶策略学习提供了理想平台。研究者通过分析29278帧经过预处理的游戏画面，能够训练卷积神经网络识别复杂地形特征与对应驾驶动作的映射关系。模型从原始像素输入直接预测加速、刹车或保持三种控制指令，这种从感知到决策的端到端学习范式，为理解人类驾驶行为提供了重要实验基础。

解决学术问题

该数据集有效解决了模仿学习中行为克隆的样本效率问题，通过精心设计的UI元素屏蔽机制，避免了无关特征对模型学习的干扰。在强化学习领域，它为策略网络预训练提供了高质量的专家示范数据，显著提升了探索效率。同时，数据集的小规模特性使其成为研究样本受限条件下深度学习模型泛化能力的理想测试平台，为资源受限环境下的智能决策系统开发提供了重要参考。

衍生相关工作

基于该数据集的实验范式催生了多项游戏AI领域的延伸研究，包括跨场景的驾驶策略迁移、多智能体协作控制等创新方向。其数据采集与预处理方法被后续研究广泛采纳，形成了游戏画面语义分割的标准流程。模型架构的轻量化设计理念启发了移动端实时决策系统的开发，而行为克隆的成功实践则为更复杂的模仿学习算法提供了验证基础，推动了从游戏环境到现实场景的技术迁移研究。