eDriveMORL

eDriveMORL是一个针对燃料电池电动汽车(FCEV)系统的离线强化学习数据集和基准测试，包含了高保真的FCEV动态模拟数据、与Minari兼容的离线数据集、以及多种算法配置。数据集捕获了通过专家控制器（如MPC）从模拟FCEV模型收集的状态-动作-奖励序列。

eDriveMORL is an offline reinforcement learning dataset and benchmark tailored for fuel cell electric vehicle (FCEV) systems. It features high-fidelity dynamic simulation data of FCEVs, Minari-compatible offline datasets, and diverse algorithm configurations. The dataset captures state-action-reward sequences collected from simulated FCEV models via expert controllers such as MPC.

原始信息汇总

eDriveMORL 数据集概述

数据集基本信息

• 名称: eDriveMORL
• 语言: 英语 (en)
• 标签: 代码 (code)
• 数据规模: 100K < n < 1M
• 配置:
  • 默认配置 (default)
    • 数据文件:
      • mpc_trajectories: minari_export/minari_MPC/data/dataset.json
      • rule_trajectories: minari_export/minari_Rule/data/dataset.json

数据集描述

eDriveMORL 是一个用于燃料电池电动汽车 (FCEV) 系统的离线强化学习基准套件，包含以下内容：

• 高保真 FCEV 动态模拟
• 兼容 Minari 的离线数据集
• 多个兼容 D3RLpy 的算法配置
• 自定义奖励函数和热模型

项目结构

. ├── run.py # 通过 CLI 运行所有算法的基准测试 ├── train.py # 从 Minari 生成离线数据集 ├── register_minari_dataset.py # 注册兼容 Minari 的 FCEV 数据集 ├── datasets/ # 存储生成的 D3RLpy HDF5 数据集 ├── requirements.txt # Python 依赖列表 ├── fcev/ # 核心模型实现 └── README.md # 当前文件

数据集内容

eDriveMORL 数据集通过 Minari 注册，包含从模拟 FCEV 模型中通过专家控制器 (如 MPC) 收集的状态-动作-奖励序列。

数据集字段

• 状态: [SOC, T_fc, T_core, T_surf, speed, acc]
• 动作: [fc_ratio, cooling_level, coolant_split_ratio]
• 奖励: 反映能量和热效率的自定义函数
• 终止: 情节结束或不可行性

使用步骤

1. 注册 Minari 数据集 bash python register_minari_dataset.py

2. (可选) 重新生成离线数据集 bash python train.py

   • 生成 .h5 数据集存储在 datasets/ 文件夹下

3. 运行离线 RL 基准测试 bash python run.py --algo CQL --dataset-path datasets/fcev-mpc-v1.h5 --drive-cycle CLTC-P-PartI.csv --n-steps 10000 --wandb-project fcev-offline-benchmark

可用算法

• TD3PlusBC
• IQL
• CQL
• BCQ
• CalQL
• AWAC
• ReBRAC
• TACR
• PLAS
• PRDC
• BEAR

日志与评估

• TensorBoard 日志: tensorboard_logs/{algo}
• 文件日志: d3rlpy_logs/{algo}
• WandB 指标 (可选): 在线查看实验仪表板

搜集汇总

数据集介绍

构建方式

eDriveMORL数据集构建于燃料电池电动汽车(FCEV)系统的高保真动态仿真环境，通过专家控制器(如模型预测控制MPC)采集状态-动作-奖励序列。数据集采用Minari兼容格式存储，包含两个独立子集：mpc_trajectories和rule_trajectories，分别记录不同控制策略下的车辆运行轨迹。数据采集过程严格模拟真实FCEV工况，涵盖电池荷电状态、燃料电池温度、车速等多维状态变量，以及能量分配比例、冷却等级等控制动作。

特点

该数据集的核心价值在于其专业领域针对性和多维参数耦合特性。作为首个专注于FCEV系统的离线强化学习基准，完整记录热-电耦合系统的动态响应过程。数据字段经过严格设计，包含6维状态空间和3维动作空间，奖励函数融合能量效率与热管理双重优化目标。特别值得注意的是，数据集提供两种专家策略轨迹对比，支持算法在模型预测控制与规则控制间的迁移学习研究。所有数据均通过标准化处理，确保不同驱动循环工况下的可比性。

使用方法

使用该数据集需先配置Python3.9环境并安装Minari工具包。通过register_minari_dataset.py脚本注册数据集后，可直接调用minari.load_dataset()接口加载。数据集支持两种应用模式：直接用于离线强化学习算法训练，或通过train.py转换为D3RLpy兼容的HDF5格式。基准测试套件内置11种主流离线RL算法接口，用户可通过run.py脚本进行对比实验，关键参数包括算法选择(--algo)、数据集路径(--dataset-path)和训练步数(--n-steps)。实验过程支持TensorBoard和Weights&Biases双平台日志记录，便于性能评估与可视化分析。

背景与挑战

背景概述

eDriveMORL数据集是专注于燃料电池电动汽车（FCEV）系统离线强化学习研究的重要资源，由TJIET机构开发并发布。该数据集通过高保真动态仿真技术，捕捉了FCEV在多种工况下的状态-动作-奖励序列，为研究能源管理与热效率优化提供了关键数据支持。其核心研究问题聚焦于如何在复杂动态环境中实现FCEV的能量分配与热管理策略的最优化。该数据集的推出显著推进了绿色交通领域的算法研究，为离线强化学习在新能源汽车控制系统的应用建立了标准化评估框架。

当前挑战

eDriveMORL数据集面临双重挑战：在领域问题层面，需解决燃料电池系统多目标优化中能量效率与热管理间的动态平衡难题，其高维状态空间和连续动作空间对策略学习算法提出严峻考验；在构建技术层面，仿真环境需精确建模电化学-热力学耦合效应，专家控制器生成的轨迹数据既要覆盖多样驾驶工况，又要确保物理可行性边界不被突破，这对数据采集协议的设计与验证提出了极高要求。

常用场景

经典使用场景

在燃料电池电动汽车（FCEV）系统的离线强化学习研究中，eDriveMORL数据集被广泛用于训练和评估多种强化学习算法。其高保真度的动态仿真环境为研究者提供了丰富的状态-动作-奖励序列，这些数据通过专家控制器（如MPC）收集，能够有效模拟FCEV在实际运行中的复杂动态。数据集的多配置兼容性（如Minari和D3RLpy）使其成为算法开发和性能对比的理想选择。

解决学术问题

eDriveMORL数据集解决了FCEV系统中能量管理和热效率优化的关键学术问题。通过提供精确的状态变量（如SOC、温度分布）和动作空间（如燃料电池比率、冷却水平），数据集支持研究者开发高效的控制策略，以平衡能源消耗与热管理需求。其定制化的奖励函数进一步推动了多目标强化学习在FCEV领域的应用，为复杂系统的实时决策提供了理论支持。

衍生相关工作

围绕eDriveMORL数据集，研究者已衍生出多项经典工作。例如，采用CQL和TD3+BC等离线强化学习算法优化FCEV控制策略的对比研究，以及结合WandB的实时性能监控框架开发。此外，数据集还催生了针对多目标奖励函数设计的创新方法，如基于PLAS和PRDC算法的热-能协同优化方案，推动了FCEV智能控制领域的算法多样化发展。