XLand-100B

XLand-100B是一个大规模的多任务数据集，用于上下文强化学习。它包含了大约3.5亿个情节，1300亿个转换和40,000个独特任务，是目前RL领域中最大的数据集。此外，该数据集还包含了基础算法的完整训练历史，而不是仅包含专家转换或部分回放缓冲区。XLand-100B is a large-scale multi-task dataset designed for contextual reinforcement learning. It encompasses approximately 350 million episodes, 130 billion transitions, and 40,000 unique tasks, making it the largest dataset in the field of RL to date. Furthermore, this dataset includes the complete training history of foundational algorithms, rather than merely containing expert transitions or partial replay buffers.

原始信息汇总

数据集概述

数据集名称

• XLand-100B
• XLand-Trivial-20B

数据集描述

XLand-100B 和 XLand-Trivial-20B 是基于 XLand-MiniGrid 环境的大规模多任务数据集，专为上下文强化学习设计。这两个数据集共包含约 3.5B 集，130B 转换和 40,000 个独特任务，是目前 RL 领域中最大的数据集。

数据集内容

• 每个任务提供 32 个完整的学习历史。
• 包含所有必要的元数据，如环境、基准和任务 ID。
• 数据存储格式为 hdf5，包含 states, actions, rewards, dones, expert_actions。

数据集大小

• XLand-100B: 约 325GB
• XLand-Trivial-20B: 约 60GB

数据集下载

• 数据集托管于公共 S3 桶，可通过 curl 或 wget 下载。

数据集结构

• 每个学习历史存储 states, actions, rewards, dones, expert_actions 顺序存储，未分割成单独的集，便于跨集序列采样训练。

数据集许可证

• CC BY-SA 4.0

数据集提供者

• AIRI (Artificial Intelligence Research Institute)

引用信息

• 使用此数据集的研究应引用：

  @article{nikulin2024xland, title={XLand-100B: A Large-Scale Multi-Task Dataset for In-Context Reinforcement Learning}, author={Nikulin, Alexander and Zisman, Ilya and Zemtsov, Alexey and Sinii, Viacheslav and Kurenkov, Vladislav and Kolesnikov, Sergey}, journal={arXiv preprint arXiv:2406.08973}, year={2024} }

搜集汇总

数据集介绍

构建方式

XLand-100B数据集的构建基于XLand-MiniGrid环境，通过收集大规模的多任务数据，涵盖了近30,000个独特任务的完整学习历史。该数据集不仅包含专家过渡或部分重放缓冲区，还记录了基础算法的完整训练历史，从而提供了更为全面和详尽的强化学习数据。数据集的构建过程中，采用了高效的采集工具和实验代码，确保数据的多样性和高质量。

特点

XLand-100B数据集的显著特点在于其规模庞大，包含约3.5亿个片段、1300亿次转换和40,000个独特任务，远超当前其他强化学习数据集。此外，该数据集的独特之处在于其完整记录了基础算法的训练历史，而非仅限于专家过渡或部分重放缓冲区。这种全面性使得数据集在上下文强化学习领域具有极高的研究价值和应用潜力。

使用方法

XLand-100B数据集可通过公共S3存储桶免费下载，建议用户从较小的XLand-Trivial-20B数据集开始，以便于调试和快速下载。数据集以hdf5格式存储，每个任务提供32个完整学习历史及其相关元数据。用户可通过curl或wget等工具进行下载，并使用提供的Dockerfile轻松设置实验环境。数据集的结构设计便于跨片段序列采样，适用于多种强化学习方法的训练和评估。

背景与挑战

背景概述

XLand-100B数据集是由Artificial Intelligence Research Institute (AIRI)支持的大型多任务数据集，专注于上下文强化学习（In-Context Reinforcement Learning）。该数据集基于XLand-MiniGrid环境构建，包含了约3.5亿个片段、1300亿个转换和40,000个独特任务，是目前强化学习领域中规模最大的数据集之一。其独特之处在于，不仅提供了专家转换或部分重放缓冲区，还包含了基础算法的完整训练历史，旨在为上下文强化学习领域的研究提供坚实的基础，并推动该领域的快速发展。

当前挑战

XLand-100B数据集在构建过程中面临了多重挑战。首先，数据集的规模巨大，涉及3.5亿个片段和1300亿个转换，这要求高效的存储和处理技术。其次，数据集包含了完整的训练历史，而非仅限于专家转换或部分重放缓冲区，这增加了数据处理的复杂性。此外，数据集的多样性和任务数量众多，如何确保数据的质量和一致性也是一个重要挑战。最后，数据集的公开和共享需要遵循CC BY-SA 4.0许可证，确保数据使用的合法性和透明性。

常用场景

经典使用场景

在强化学习领域，XLand-100B数据集因其大规模和多任务特性，成为研究上下文强化学习（In-Context RL）的经典资源。该数据集包含了超过3.5亿个训练历史，涵盖了130亿个状态转移和40,000个独特任务，为研究人员提供了丰富的数据基础。通过分析这些历史数据，研究者可以深入探讨不同任务间的学习策略迁移和泛化能力，从而推动上下文强化学习算法的发展。

解决学术问题

XLand-100B数据集解决了强化学习领域中长期存在的数据稀缺和任务多样性不足的问题。通过提供大规模、多任务的训练历史，该数据集为研究者提供了丰富的实验材料，有助于探索和验证新的强化学习算法。此外，数据集中的完整训练历史记录，使得研究者能够更准确地评估算法的性能和鲁棒性，从而推动该领域的学术研究进展。

衍生相关工作

基于XLand-100B数据集，许多相关研究工作得以展开。例如，研究者们利用该数据集开发了新的上下文强化学习算法，这些算法在多个基准测试中表现优异。此外，数据集的多任务特性也激发了跨任务学习策略的研究，推动了任务间知识迁移和泛化能力的提升。这些衍生工作不仅丰富了强化学习的理论基础，也为实际应用提供了新的技术支持。