LightZero

LightZero是由商汤科技和上海人工智能实验室联合开发的首个统一基准，用于评估蒙特卡洛树搜索（MCTS）/MuZero算法在一般序列决策场景中的应用。该数据集包含9种算法和超过20个决策环境，通过详细的评估揭示了这些方法在构建可扩展和高效决策智能方面的潜力。LightZero的设计允许开发者专注于环境和算法的定制，同时通过一些技术如离策略校正和数据吞吐量限制器确保算法的稳定收敛和运行时加速。此外，LightZero还探索了将基于模型的强化学习与MCTS方法结合的优势，旨在解决状态表示学习和动力学学习之间的错位问题，从而加速收敛并提高数据效率。LightZero is the first unified benchmark jointly developed by SenseTime and Shanghai AI Laboratory, designed to evaluate the application of Monte Carlo Tree Search (MCTS)/MuZero algorithms in general sequential decision-making scenarios. This dataset covers 9 algorithms and more than 20 decision-making environments, and reveals the potential of these methods in building scalable and efficient decision-making intelligence via comprehensive evaluations. The framework of LightZero enables developers to focus on customizing environments and algorithms, while ensuring stable convergence and runtime acceleration of algorithms through technologies such as off-policy correction and data throughput limiter. Furthermore, LightZero also explores the advantages of combining model-based reinforcement learning with MCTS methods, aiming to resolve the misalignment problem between state representation learning and dynamics learning, thus accelerating convergence and improving data efficiency.

搜集汇总

数据集介绍

构建方式

LightZero 是首个统一部署蒙特卡洛树搜索（MCTS）与 MuZero 算法于通用序贯决策场景的基准平台。其构建方式遵循模块化解耦理念，将紧密耦合的树搜索强化学习算法与系统设计拆解为数据收集器、数据整理器、智能体学习器与智能体评估器四个核心子模块。每个子模块均可独立优化与替换，例如通过引入内在奖励机制解决稀疏奖励环境中的探索难题，或利用自一致性损失对齐环境模型学习中的表征与动态网络。该平台集成了九种主流算法变体（如 AlphaZero、EfficientZero、Gumbel MuZero）及超过二十种决策环境，涵盖棋盘游戏、Atari、MuJoCo、MiniGrid 与 GoBigger 等多样化领域，从而为 MCTS 方法在复杂真实场景中的泛化应用提供了系统性的工程基础。

特点

LightZero 数据集的核心特点在于其首次系统性地归纳了通用 MCTS 求解器面临的六大关键挑战：多模态高维观测空间、复杂动作空间、对先验知识的依赖、固有随机性、仿真代价以及困难探索。通过雷达图对比，该基准清晰揭示了不同算法在各维度上的能力边界，例如模型无关方法在仿真成本维度表现优异，而 LightZero 通过引入采样策略、随机性建模与内在探索机制，在数据效率与泛化性上取得显著提升。此外，其模块化架构支持算法组件的即插即用，例如机会节点规划不仅适用于随机性建模，还可迁移至连续控制或混合动作空间，展现了高度的可扩展性与正交性。

使用方法

使用 LightZero 时，研究者可根据目标环境特性灵活配置算法组合与超参数。例如，在棋盘游戏中可直接调用 AlphaZero 以利用完美模拟器提升样本效率；在 Atari 图像输入场景中，建议启用自监督一致性损失以加速模型对齐与收敛。对于连续控制任务，推荐采用基于高斯策略表征的 Sampled EfficientZero，以应对高维动作空间的挑战。平台提供了标准化的训练与评估接口，支持在线与离线强化学习范式，并通过吞吐量限制器与优先级重计算机制平衡数据采集与模型更新的效率。用户可通过 OpenDILab 开源仓库获取代码，并参考附录中的详细超参数表格进行实验复现与拓展。

背景与挑战

背景概述

在序列决策问题的研究领域，基于树搜索规划能力的智能体在经典任务中取得了显著成功，但将蒙特卡洛树搜索（MCTS）算法推广至通用场景仍面临重重障碍。为系统性地评估与推动该方向的发展，商汤科技、上海人工智能实验室及香港中文大学的研究人员于2023年提出了LightZero基准。该基准首次统一整合了九种MCTS/MuZero算法变体，覆盖棋盘游戏、Atari、MuJoCo及MiniGrid等超过二十种决策环境，旨在探究MCTS作为通用高效决策求解器的潜力。LightZero通过模块化解耦设计，将紧密耦合的算法与系统拆分为数据收集器、数据整理器、智能体学习器和智能体评估器四个子模块，显著降低了算法迁移与改进的门槛。该基准的发布为树搜索强化学习方法在多样化实际应用中的部署提供了标准化平台，对决策智能领域的可复现研究与横向比较具有重要推动作用。

当前挑战

LightZero所应对的核心挑战涵盖六个维度：首先，多模态高维观测空间要求智能体能够有效提取并融合向量、图像及结构化等不同类型的表征。其次，复杂动作空间涉及离散选择、连续控制及混合结构，亟需统一的策略建模方案。第三，对先验知识的依赖是AlphaZero等方法的固有缺陷，需通过学习环境模型来替代完美模拟器。第四，环境固有的随机性与部分可观测性会导致规划轨迹错位，产生大量无效搜索。第五，仿真成本是MCTS方法时间消耗的主要来源，有限仿真次数下难以保证所有必要动作均被访问。最后，硬探索问题在稀疏奖励环境中尤为突出，传统树搜索在存在大量非终止状态时容易陷入困境。此外，构建过程中还需应对高度耦合的算法与系统架构带来的迁移障碍，以及数据重分析等特殊机制对并行加速的阻碍。

常用场景

经典使用场景

LightZero作为首个统一基准，旨在系统评估和部署基于蒙特卡洛树搜索（MCTS）与MuZero的算法，在通用序列决策场景中的表现。其经典使用场景涵盖多种环境类型，包括棋盘游戏（如围棋、国际象棋）、Atari视频游戏、MuJoCo连续控制任务、MiniGrid稀疏奖励环境以及GoBigger多智能体协作场景。通过模块化设计，LightZero将算法与系统解耦为数据收集、数据整理、智能体学习和智能体评估四个子模块，支持九种MCTS变体的灵活组合与对比，为研究者提供可复现的标准化实验平台。

解决学术问题

LightZero解决了MCTS类算法在真实世界应用中面临的六大核心挑战：多模态观测空间、复杂动作空间、对环境先验知识的依赖、固有随机性、高模拟代价以及困难探索问题。通过整合自监督一致性损失、内在奖励机制、采样策略优化等技术，该基准显著提升了数据效率与算法泛化能力。实验表明，LightZero在稀疏奖励场景和连续控制任务中均能实现稳定收敛，揭示了模型对齐与探索策略在提升MCTS方法可扩展性方面的关键作用，为构建通用决策智能提供了理论依据与实践指南。

衍生相关工作

LightZero衍生了一系列经典工作，推动了MCTS算法的发展。EfficientZero通过自监督一致性损失和价值前缀预测，在Atari-100K基准上实现了样本效率的飞跃；Sampled MuZero引入基于采样的策略迭代，首次将MCTS扩展至连续动作空间；Gumbel MuZero利用Gumbel-Top-k技巧在低模拟预算下保证策略改进，显著降低了搜索时延。此外，Stochastic MuZero通过机会节点建模环境随机性，在2048等随机性环境中取得突破。这些工作均被集成至LightZero框架中，形成了可复现的算法生态。