GreenLight-Gym

GreenLight-Gym是由瓦赫宁根大学与研究中心开发的用于温室作物生产控制的强化学习基准环境。该数据集基于先进的GreenLight模型，模拟了温室气候与作物动态，旨在训练和测试强化学习算法。数据集包含详细的温室模拟数据，涵盖气候、作物生长等多个变量，适用于研究温室自动化控制策略。通过该数据集，研究人员可以评估和比较不同控制算法在不同天气条件下的泛化能力，推动温室作物生产控制领域的发展。

GreenLight-Gym is a reinforcement learning benchmark environment for greenhouse crop production control, developed by Wageningen University & Research. This dataset, built upon the state-of-the-art GreenLight model, simulates greenhouse climate and crop dynamics, and is designed for training and testing reinforcement learning algorithms. It contains comprehensive greenhouse simulation data covering multiple variables such as climate and crop growth, and is applicable to studies on automated control strategies for greenhouse crop production. With this dataset, researchers can evaluate and compare the generalization capabilities of different control algorithms under various weather conditions, thus advancing the development of the field of greenhouse crop production control.

原始信息汇总

GreenLight-Gym: 强化学习环境用于温室作物生产系统 🍅

概述

GreenLight-Gym 是一个高性能的 Cython 代码实现的温室模型 GreenLight 的重新实现，并通过 Gymnasium 环境进行封装。该环境旨在训练用于温室作物生产系统的强化学习模型。

此代码库中的代码用于以下 预印本，该预印本已提交给《Computers and Electronics in Agriculture》期刊。

软件架构

软件采用模块化架构，允许用户研究温室控制问题的不同方面。例如，用户可以自定义：

• 控制器
• 可控输入
• 天气轨迹
• GreenLight 模型参数
• 观测空间
• 约束与奖励

安装

系统要求

• Windows 用户需要安装带有桌面 C++ 开发的 Microsoft Visual Studio。
• 推荐使用 Python 3.11+ 版本，建议通过 Anaconda 进行安装。

安装步骤

1. 创建并激活虚拟环境： shell conda create -n greenlight_gym python==3.11 conda activate greenlight_gym

2. 克隆仓库并进入目录： shell git clone [e-mail]:BartvLaatum/GreenLightGym.git cd GreenLightGym

3. 安装开发包： shell pip install -e .

4. 重新编译 Cython 代码： shell python setup.py build_ext --inplace

使用

训练 RL 算法

• 使用 experiments/train_agent.py 脚本创建 RL 代理、训练和评估环境。
• 训练过程中将统计数据记录到 Weights and Biases (wandb)。
• 在 configs/ 文件夹中定义 RL 代理的超参数。目前仅支持 PPO。

运行命令

1. 运行收敛性分析实验： shell . scripts/convergence_test.sh

2. 运行惩罚系数敏感性分析实验： shell . scripts/penalty_coeffs.sh

3. 运行基准模拟实验： shell . scripts/benchmark.sh

数据后处理

• 运行 convergence.sh 脚本后，可以通过 wandb API 提取训练统计数据： shell python -m greenlight_gym.post_processing.extract_wandb_data.py --entity <wanbdusername> --project <wandbprojectname> --group <wanbdgroupname>

可视化

• 使用 visualisations/ 文件夹中的笔记本进行结果可视化。
  • rollout_reward.ipynb：显示 convergence.sh 研究的训练曲线统计数据。
  • penalty_coeffs.ipynb：可视化惩罚系数敏感性分析。

未来更新

• 添加基于设定点的环境。
• 实现模型预测控制 (MPC) 等模型控制方法。
• 添加不同的（非策略）RL 模型，如 SAC、DDPG 等。
• 包含循环策略。

搜集汇总

数据集介绍

构建方式

GreenLight-Gym 是一个用于温室作物生产控制的强化学习基准环境，由 Wageningen 大学与研究机构开发。该数据集基于 GreenLight 模型，这是一个先进的动态过程模型，专门用于模拟高技术温室设施中的气候和作物动态。GreenLight-Gym 通过高性能代码重新实现了 GreenLight 模型，以支持快速控制器与环境交互，满足强化学习算法训练的需求。为了验证其作为可靠模型的准确性，GreenLight-Gym 的状态动态与原始 Matlab 代码进行了对比验证，并分析了执行时间。

特点

GreenLight-Gym 的特点在于其模块化设计，允许研究人员通过指定控制器、奖励和约束、观测空间、模型参数、天气干扰和可控输入来定制温室系统。此外，该环境提供了 Python 接口，便于控制器与动态 GreenLight 模型进行交互。GreenLight-Gym 的开源性质和详细的文档支持，旨在促进温室控制领域中基于学习的方法的创新和发展。

使用方法

GreenLight-Gym 的使用方法包括通过 Python 接口与环境进行交互，定义和测试不同的控制策略。用户可以利用环境中的七个模块来定制控制器和环境，以满足特定的研究需求。通过在 GreenLight-Gym 中进行训练和测试，研究人员可以评估和比较不同强化学习算法在温室作物生产控制中的性能，从而推动该领域的发展。

背景与挑战

背景概述

GreenLight-Gym数据集由Wageningen University & Research的Bart van Laatum、Eldert J. van Henten和Sjoerd Boersma创建，旨在为温室作物生产控制提供一个强化学习基准环境。该数据集首次发布于2024年，专注于通过强化学习算法优化温室气候和作物动态控制。GreenLight-Gym基于GreenLight模型，这是一个详细且经过验证的温室模型，能够准确捕捉高科技温室设施的气候-作物动态。该数据集的引入填补了强化学习在实际温室系统应用中的空白，为温室控制社区提供了一个标准化的平台，以监控和比较基于学习的方法的进展。

当前挑战

GreenLight-Gym数据集面临的挑战主要集中在两个方面：一是解决领域问题，即图像分类的挑战；二是在构建过程中遇到的挑战。在解决领域问题方面，GreenLight-Gym旨在训练强化学习控制器以优化温室作物生产，这需要处理作物、室内和室外气候以及经济因素之间的不确定和非线性动态。在构建过程中，数据集面临的挑战包括如何在模型与实际温室系统动态存在差异的情况下学习策略，以及如何在优化主要目标的同时维持状态约束。此外，强化学习算法在处理未见过的状态（如新天气轨迹）时的泛化能力也是一个重要的挑战。

常用场景

经典使用场景

GreenLight-Gym 数据集的经典使用场景在于为温室作物生产控制提供一个强化学习基准环境。该数据集允许研究人员训练和测试强化学习算法，以优化温室气候和作物动态的控制策略。通过模拟温室环境中的复杂动态，GreenLight-Gym 提供了一个标准化的平台，用于评估不同强化学习控制器在应对不确定性和非线性动态方面的性能。

衍生相关工作

GreenLight-Gym 数据集的引入催生了一系列相关研究工作。例如，研究人员可以基于该数据集开发新的强化学习算法，以提高控制器的性能和稳定性。此外，该数据集还可以用于研究不同气候条件下的温室控制策略，以及探索如何在实际温室中部署和验证这些控制器。通过提供一个标准化的基准环境，GreenLight-Gym 促进了温室控制领域的创新和发展。

数据集最近研究

最新研究方向

在温室作物生产控制领域，GreenLight-Gym数据集的最新研究方向主要集中在强化学习（RL）算法的应用上。该数据集提供了一个开放源代码的模拟器，用于训练和测试RL算法在温室气候和作物动态控制中的表现。研究者们通过设计不同的奖励函数，评估了两种RL控制器在不同奖励函数下的稳定性和性能，并探讨了控制器在未见过的天气轨迹下的泛化能力。此外，研究还关注了如何通过奖励函数中的惩罚系数来平衡作物生产的经济目标和状态约束，以实现更高效的温室气候控制。这些研究不仅推动了RL在实际温室系统中的应用，还为温室控制社区提供了一个标准化的平台，以监测和比较基于学习的控制方法的进展。

相关研究论文

• GreenLight-Gym: A Reinforcement Learning Benchmark Environment for Greenhouse Crop Production Control

  瓦赫宁根大学与研究中心 · 2024年