TeamCraft-Data-Dec
收藏资源简介：
TeamCraft数据集旨在为Minecraft中的多模态、多智能体协作提供基准测试。该数据集包含55,000个任务变体，每个任务由多模态提示和程序生成的专家演示定义。它特别设计用于训练去中心化模型，并包含超过一百万张图像和一个全面的训练JSON文件。该数据集支持多智能体强化学习、多模态学习和协作环境中的具身AI研究。
The TeamCraft dataset is designed as a benchmark for multimodal and multi-agent collaboration in Minecraft. It contains 55,000 task variants, each defined by multimodal prompts and procedurally generated expert demonstrations. It is specifically tailored for training decentralized models, and includes over one million images as well as a comprehensive training JSON file. This dataset supports research in multi-agent reinforcement learning, multimodal learning, and embodied AI in collaborative environments.
TeamCraft-Data-Dec 数据集概述
基本信息
- 许可证: Apache License 2.0
- 语言: 英语
- 标签: 多智能体, 多模态, 基准测试, Minecraft
- 数据集大小: 10K<n<100K
数据集结构
特征
- task_variants: 55,000 个程序生成的任务变体。
- demonstrations: 多模态提示（语言 + 图像）、观察和动作。
- observations: 第一人称 RGB 视图和库存状态。
- agent_actions: 每个智能体的时间步动作。
数据集分割
- train: 大于 55,000 个样本
- valid: 1000 个样本
数据集描述
TeamCraft 数据集旨在基准测试 Minecraft 中的多模态、多智能体协作。它包含 55,000 个任务变体，由多模态提示和程序生成的专家演示定义。
TeamCraft-Data-Dec 是 TeamCraft 去中心化模型的训练分割，例如 TeamCraft-VLA-7B-Dec。在这种设置中，模型可以访问一个智能体的第一人称 RGB 视图和库存信息，并生成该智能体的动作。
数据集大小约为 127GB，包含超过一百万张图像和一个全面的训练 JSON 文件。它包含 55,000 个独特的任务变体，每个变体都附有演示。
输入
- 多模态提示: 语言指令与正交视图图像（顶部、左侧和正面）交错，以指定任务。
- 观察: 一个智能体的第一人称 RGB 视图和库存。
- 历史: 一个智能体的历史动作（如果可用）。
输出
- 动作空间: 一个智能体的高级动作。
任务
TeamCraft 数据集包括以下任务的演示：
- Building: 根据提供的蓝图构建结构。
- Clearing: 从目标区域移除指定的方块。
- Farming: 在指定的农田上播种和收获作物。
- Smelting: 使用熔炉将资源熔炼成目标物品。
应用
该数据集支持以下研究：
- 多智能体强化学习。
- 多模态学习和任务规划。
- 协作环境中的具身 AI。
使用
模型训练和评估可在 TeamCraft GitHub 仓库 中找到。
免责声明
该数据集仅用于研究目的。用户有责任确保遵守适用的法律和法规。创建者不保证数据集适合任何特定目的，也不对因使用数据集而产生的任何后果负责。
许可证
该数据集在 Apache License 2.0 下发布。
