NetHack Learning Dataset（NLD）

最近在代理开发方面的突破，以解决具有挑战性的顺序决策问题，例如Go [50]，StarCraft [58] 或DOTA [3]，都依赖于模拟环境和大规模数据集。但是，由于开源数据集的稀缺性以及与它们一起工作的高昂计算成本，阻碍了这项研究的进展。在这里，我们介绍了NetHack学习数据集 (NLD)，这是来自流行的NetHack游戏的轨迹的大型且高度可扩展的数据集，这对于当前的方法来说是极具挑战性的，并且运行速度非常快 [23]。NLD包括三个部分: 从NAO公共NetHack服务器2009年2020年上收集的150万个人类轨迹中100亿个状态转换; 从NetHack挑战2021的符号机器人获胜者那里收集的100,000个轨迹中30亿个状态-动作-得分转换; 以及随附的代码供用户记录，以高度压缩的形式加载和流式传输此类轨迹的任何集合。我们评估了广泛的现有算法，包括在线和离线RL，以及从演示中学习，表明需要重大的研究进展，以充分利用大规模数据集来挑战顺序决策任务。