OfflineMania
收藏资源简介:
OfflineMania是由佛罗伦萨大学和电子艺界(EA)开发的用于离线强化学习研究的数据集,基于Unity 3D游戏引擎构建。该数据集包含100,000条转换记录,来源于不同能力的策略,旨在评估和开发强化学习算法。数据集的创建过程涉及使用近端策略优化(PPO)训练不同级别的策略,并收集其行为数据。OfflineMania主要应用于游戏AI研究,特别是在赛车游戏领域,旨在提高算法的鲁棒性和适应性,解决传统强化学习中样本复杂度高的问题。
OfflineMania is a dataset developed by the University of Florence and Electronic Arts (EA) for offline reinforcement learning research, built on the Unity 3D game engine. This dataset contains 100,000 transition records sourced from policies with varying levels of capability, aiming to evaluate and develop reinforcement learning algorithms. The dataset creation process involves training policies at different levels using Proximal Policy Optimization (PPO) and collecting their behavioral data. OfflineMania is primarily applied in game AI research, particularly in the racing game domain, with the goal of enhancing algorithm robustness and adaptability while addressing the high sample complexity issue inherent in traditional reinforcement learning.
OfflineMania 数据集概述
概述
OfflineMania 是一个用于离线强化学习(ORL)研究的新环境,灵感来源于 TrackMania 系列,并使用 Unity 3D 游戏引擎开发。它模拟了一个单智能体赛车游戏,旨在实现最佳赛道导航,并提供多样化的数据集用于 ORL 研究。
环境细节
状态空间
状态空间包括 15 个覆盖 180 度视野的射线投射和车辆的 (X, Y, Z) 速度分量。
动作空间
动作空间包含两个连续值:
- 转向角度:范围从 -1(左转)到 1(右转)。
- 加速/刹车:范围从 -1(刹车/倒车)到 1(全加速)。
奖励信号
奖励函数基于进度,并对碰撞进行速度缩放的惩罚。
$$
r_t = r_t^{ ext{prog}} -
egin{cases}
lambda parallel v_{ ext{car}}parallel & ext{如果与墙壁接触}
0 & ext{否则}
end{cases}
$$
回合
每个回合固定长度为 2,000 步,起始位置和方向随机化以确保训练场景的多样性。
数据集
- Basic:100,000 个来自在初始弯道挣扎的策略的转换。
- Medium:100,000 个来自偶尔完成赛道的策略的转换。
- Expert:100,000 个来自高性能策略的转换。
- Mix Large:200,000 个转换,结合了 90% 基本、7% 中等和 3% 专家。
- Mix Small:5,000 个转换,混合比例与 Mix Large 相同。
- Basic Small:5,000 个来自基本策略的转换。




