TeamCraft-Data-Dec

TeamCraft数据集旨在为Minecraft中的多模态、多智能体协作提供基准测试。该数据集包含55,000个任务变体，每个任务由多模态提示和程序生成的专家演示定义。它特别设计用于训练去中心化模型，并包含超过一百万张图像和一个全面的训练JSON文件。该数据集支持多智能体强化学习、多模态学习和协作环境中的具身AI研究。

The TeamCraft dataset is designed as a benchmark for multimodal and multi-agent collaboration in Minecraft. It contains 55,000 task variants, each defined by multimodal prompts and procedurally generated expert demonstrations. It is specifically tailored for training decentralized models, and includes over one million images as well as a comprehensive training JSON file. This dataset supports research in multi-agent reinforcement learning, multimodal learning, and embodied AI in collaborative environments.

原始信息汇总

TeamCraft-Data-Dec 数据集概述

基本信息

• 许可证: Apache License 2.0
• 语言: 英语
• 标签: 多智能体, 多模态, 基准测试, Minecraft
• 数据集大小: 10K<n<100K

数据集结构

特征

• task_variants: 55,000 个程序生成的任务变体。
• demonstrations: 多模态提示（语言 + 图像）、观察和动作。
• observations: 第一人称 RGB 视图和库存状态。
• agent_actions: 每个智能体的时间步动作。

数据集分割

• train: 大于 55,000 个样本
• valid: 1000 个样本

数据集描述

TeamCraft 数据集旨在基准测试 Minecraft 中的多模态、多智能体协作。它包含 55,000 个任务变体，由多模态提示和程序生成的专家演示定义。

TeamCraft-Data-Dec 是 TeamCraft 去中心化模型的训练分割，例如 TeamCraft-VLA-7B-Dec。在这种设置中，模型可以访问一个智能体的第一人称 RGB 视图和库存信息，并生成该智能体的动作。

数据集大小约为 127GB，包含超过一百万张图像和一个全面的训练 JSON 文件。它包含 55,000 个独特的任务变体，每个变体都附有演示。

输入

• 多模态提示: 语言指令与正交视图图像（顶部、左侧和正面）交错，以指定任务。
• 观察: 一个智能体的第一人称 RGB 视图和库存。
• 历史: 一个智能体的历史动作（如果可用）。

输出

• 动作空间: 一个智能体的高级动作。

任务

TeamCraft 数据集包括以下任务的演示：

• Building: 根据提供的蓝图构建结构。
• Clearing: 从目标区域移除指定的方块。
• Farming: 在指定的农田上播种和收获作物。
• Smelting: 使用熔炉将资源熔炼成目标物品。

应用

该数据集支持以下研究：

• 多智能体强化学习。
• 多模态学习和任务规划。
• 协作环境中的具身 AI。

使用

模型训练和评估可在 TeamCraft GitHub 仓库 中找到。

免责声明

该数据集仅用于研究目的。用户有责任确保遵守适用的法律和法规。创建者不保证数据集适合任何特定目的，也不对因使用数据集而产生的任何后果负责。

许可证

该数据集在 Apache License 2.0 下发布。

搜集汇总

数据集介绍

构建方式

TeamCraft-Data-Dec数据集的构建基于Minecraft环境中的多模态、多智能体协作任务。该数据集通过程序化生成55,000种任务变体，每种变体均配有语言指令与图像提示，并附带专家演示。数据集的输入包括多模态提示（语言与图像）、第一人称RGB视角及智能体库存状态，输出则为智能体的高级动作。整个数据集包含超过百万张图像及详尽的训练JSON文件，总大小约为127GB。

使用方法

TeamCraft-Data-Dec数据集主要用于训练和评估多智能体协作模型，特别是在Minecraft环境中的应用。用户可以通过访问TeamCraft GitHub仓库获取数据集，并使用其中的训练和评估工具进行模型开发。数据集的输入包括多模态提示、观察数据和历史动作，输出则为智能体的高级动作。通过这些数据，研究人员可以探索多智能体系统在复杂任务中的协作与决策能力。

背景与挑战

背景概述

TeamCraft-Data-Dec数据集由TeamCraft项目推出，旨在推动多模态、多智能体协作在Minecraft环境中的研究。该数据集由55,000个程序生成的任务变体组成，每个任务变体均包含多模态提示（语言与图像）和专家演示。主要研究人员或机构通过提供丰富的多模态输入（如语言指令、正交视图图像、第一人称RGB视图和库存状态）以及智能体的历史行为，为多智能体强化学习、多模态学习和任务规划等领域提供了宝贵的研究资源。该数据集的发布不仅丰富了Embodied AI在协作环境中的应用场景，还为相关领域的研究者提供了标准化的基准测试数据。

当前挑战

TeamCraft-Data-Dec数据集在构建过程中面临多重挑战。首先，多模态数据的整合与处理要求高效的算法和计算资源，以确保语言与图像信息的同步与准确性。其次，多智能体协作任务的复杂性使得任务生成和演示的自动化过程变得极具挑战性，尤其是在确保任务多样性和难度平衡方面。此外，数据集的规模庞大（约127GB），包含超过百万张图像和详细的训练JSON文件，这对存储和计算资源的分配提出了高要求。最后，如何在去中心化模型中有效利用这些多模态数据，以生成高质量的智能体行为，是该数据集在实际应用中的关键挑战。

常用场景

经典使用场景

TeamCraft-Data-Dec数据集的经典使用场景主要集中在多模态、多智能体协作任务的开发与研究。该数据集通过在Minecraft环境中生成55,000个任务变体，结合语言指令与图像提示，提供了丰富的多模态输入，使得研究者能够训练和评估多智能体系统在复杂任务中的表现。这些任务包括建筑、清理、耕作和熔炼等，涵盖了从基础到高级的多种操作，为多智能体强化学习、任务规划和具身AI研究提供了理想的实验平台。

解决学术问题

TeamCraft-Data-Dec数据集解决了多智能体系统在复杂环境中的协作与决策问题。通过提供多模态的输入数据和任务变体，该数据集为研究者提供了一个标准化的基准，用于探索多智能体在不同任务中的行为模式和策略优化。这不仅推动了多智能体强化学习的发展，还为多模态学习提供了新的研究方向，特别是在具身AI和任务规划领域，具有重要的学术价值和应用潜力。

实际应用

TeamCraft-Data-Dec数据集的实际应用场景广泛，涵盖了从游戏AI到工业自动化等多个领域。在游戏开发中，该数据集可用于训练智能体在复杂环境中的协作行为，提升游戏的智能性和互动性。在工业自动化领域，多智能体系统可以应用于任务分配、资源管理和生产流程优化，通过模拟和训练，提高系统的效率和灵活性。此外，该数据集还可用于教育培训，帮助学习者理解和掌握多智能体系统的基本原理和应用方法。

数据集最近研究

最新研究方向

在多模态与多智能体协作领域，TeamCraft-Data-Dec数据集的最新研究方向聚焦于提升智能体在复杂任务中的协同能力。该数据集通过提供55,000种程序生成的任务变体，结合语言与图像的多模态提示，推动了多智能体强化学习与任务规划的研究。前沿研究主要集中在如何利用多模态信息优化智能体的决策过程，特别是在Minecraft等具身环境中实现高效的协作。此外，该数据集的应用还涉及多智能体系统的泛化能力与鲁棒性研究，为未来在复杂协作场景中的实际部署奠定了基础。