TeamCraft-Data-Cen

TeamCraft数据集旨在为Minecraft中的多模态、多智能体协作提供基准测试。该数据集包含55,000个任务变体，每个任务变体由多模态提示和程序生成的专家演示定义。它特别设计用于训练集中式模型，如TeamCraft-VLA-7B-Cen。数据集包含超过一百万张图像和一个全面的训练JSON文件，提供所有智能体的第一人称RGB视图和库存信息。数据集中的任务包括建筑、清理、农业和冶炼。该数据集支持多智能体强化学习、多模态学习和协作环境中的具身AI研究。

The TeamCraft dataset is designed as a benchmark for multimodal and multi-agent collaboration in Minecraft. The dataset contains 55,000 task variants, each defined by multimodal prompts and procedurally generated expert demonstrations. It is specifically developed for training centralized models such as TeamCraft-VLA-7B-Cen. The dataset includes over one million images and a comprehensive training JSON file that provides first-person RGB views and inventory information for all agents. Tasks in the dataset cover building, cleaning, farming, and smelting. This dataset supports research in multi-agent reinforcement learning, multimodal learning, and embodied AI in collaborative environments.

原始信息汇总

TeamCraft-Data-Cen 数据集概述

基本信息

• 许可证: Apache License 2.0
• 语言: 英语
• 标签: 多智能体、多模态、基准测试、Minecraft
• 数据集大小: 10K<n<100K

数据集详情

特征

• task_variants: 55,000个程序生成的任务变体。
• demonstrations: 多模态提示（语言+图像）、观察和动作。
• observations: 第一人称RGB视图和库存状态。
• agent_actions: 每个智能体的时间步动作。

数据集分割

• train: 大于55,000个样本
• valid: 1000个样本

结构

输入

• Multi-Modal Prompts: 语言指令与正交视图图像（顶部、左侧和正面）交错，以指定任务。
• Observations: 所有智能体的第一人称RGB视图和库存信息。
• History: 所有智能体的历史动作（如果可用）。

输出

• Action Space: 所有智能体的高级动作。

任务

• Building: 根据提供的蓝图构建结构。
• Clearing: 从目标区域移除指定方块。
• Farming: 在指定的农田上播种和收获作物。
• Smelting: 使用熔炉将资源熔炼成目标物品。

应用

• 多智能体强化学习
• 多模态学习和任务规划
• 协作环境中的具身AI

使用

• 模型训练和评估可在TeamCraft GitHub Repository上进行。

免责声明

• 该数据集仅用于研究目的。用户需确保遵守适用的法律和法规。创建者不保证数据集适用于任何特定目的，也不对因使用数据集而产生的任何后果负责。

许可证

• 该数据集基于Apache License 2.0发布。

搜集汇总

数据集介绍

构建方式

TeamCraft-Data-Cen数据集的构建基于《Minecraft》游戏环境，旨在模拟多模态、多智能体协作场景。该数据集通过程序化生成的方式，创建了55,000个任务变体，每个任务变体均包含多模态提示（语言与图像）、专家演示以及智能体的观察和动作记录。数据集的构建过程中，首先通过语言指令与正交视图图像（顶部、左侧和正面）定义任务，随后记录智能体的第一人称RGB视角和库存状态，并生成相应的动作序列。

使用方法

TeamCraft-Data-Cen数据集主要用于训练和评估集中式模型，如TeamCraft-VLA-7B-Cen。使用该数据集时，模型接收多模态提示、智能体的观察信息以及历史动作记录作为输入，并生成所有智能体的高级动作指令。数据集的训练和评估代码可在TeamCraft GitHub仓库中获取，用户可根据具体需求进行模型的训练与优化，以支持多智能体协作环境下的研究与应用。

背景与挑战

背景概述

TeamCraft-Data-Cen数据集由专业的研究团队开发，旨在推动多模态、多智能体协作在Minecraft环境中的应用。该数据集创建于近期，主要研究人员和机构致力于通过提供55,000个程序生成的任务变体，结合多模态提示（语言与图像）和专家演示，来支持多智能体强化学习和任务规划的研究。其核心研究问题聚焦于如何在复杂的多智能体环境中实现高效的协作与任务执行。该数据集的发布不仅为相关领域的研究提供了丰富的资源，还为 embodied AI 在协作环境中的应用开辟了新的研究方向。

当前挑战

TeamCraft-Data-Cen数据集在构建过程中面临多项挑战。首先，多模态数据的整合与处理，尤其是语言与图像的结合，增加了数据处理的复杂性。其次，多智能体协作任务的设计与生成需要确保任务的多样性和难度适中，以满足不同研究需求。此外，数据集的规模庞大，包含超过百万张图像和详细的训练JSON文件，这对存储和计算资源提出了较高的要求。在应用层面，如何有效利用该数据集进行模型训练与评估，尤其是在多智能体强化学习和多模态学习领域，仍是一个亟待解决的挑战。

常用场景

经典使用场景

TeamCraft-Data-Cen数据集的经典使用场景主要集中在多模态、多智能体协作任务的开发与研究。该数据集通过提供55,000个程序生成的任务变体，结合多模态提示（语言与图像）、第一人称RGB视角和库存状态等观察数据，以及智能体的时序动作，为研究者提供了一个丰富的基准平台。这些任务涵盖了建筑、清理、耕作和熔炼等多种复杂操作，使得研究者能够在Minecraft环境中模拟和训练多智能体的协作能力。

解决学术问题

TeamCraft-Data-Cen数据集解决了多智能体系统中的多个关键学术问题，特别是在多模态学习和任务规划领域。通过提供丰富的多模态输入（语言指令与图像）和详细的任务演示，该数据集帮助研究者探索如何有效整合视觉与语言信息，以提升智能体在复杂环境中的决策能力。此外，数据集还为多智能体强化学习提供了宝贵的实验平台，推动了协作型AI系统的发展。

实际应用

TeamCraft-Data-Cen数据集的实际应用场景广泛，尤其在虚拟环境中的智能体协作任务中表现突出。例如，在虚拟建筑设计、资源管理与自动化生产等领域，该数据集可用于训练智能体团队，使其能够高效执行复杂任务。此外，该数据集还可应用于教育与培训领域，通过模拟真实世界的协作场景，帮助学习者理解与掌握多智能体系统的运作机制。

数据集最近研究

最新研究方向

在多模态与多智能体协作领域，TeamCraft-Data-Cen数据集的最新研究方向聚焦于提升智能体在复杂任务中的协同能力。该数据集通过提供55,000种程序生成的任务变体，结合语言指令与图像观察，推动了多模态学习与任务规划的前沿研究。特别是在Minecraft环境中的应用，研究者们致力于开发能够处理高层次动作空间的多智能体系统，以实现如建筑、清理、农业和冶炼等复杂任务的自动化。这些研究不仅为多智能体强化学习提供了丰富的实验平台，还为 embodied AI 在协作环境中的应用开辟了新的研究路径，具有重要的理论与实践意义。