IGLU Datasets

IGLU项目的主要目标是解决如何开发在协作环境中通过接地的自然语言指令学习解决任务的交互式代理的问题。为此，项目收集了多个数据集，这些数据集包含了在块构建任务中的不同类型的交互。数据和用于收集数据的脚本将逐步在此仓库中发布。

The primary objective of the IGLU project is to address the challenge of developing interactive agents capable of learning to solve tasks through grounded natural language instructions in collaborative environments. To this end, the project has compiled multiple datasets encompassing various types of interactions within block-building tasks. The data, along with the scripts utilized for its collection, will be progressively released in this repository.

原始信息汇总

IGLU Datasets 概述

目标与背景 IGLU项目旨在开发能够通过接收到基于自然语言的指令，在协作环境中学习解决任务的交互式代理。项目围绕一个简化的Minecraft风格的有限块世界中的交互任务，目标是使用有限数量的块类型构建结构。

数据集内容 数据集包含多个在块构建任务中不同类型交互的数据集。每个游戏记录对应于建筑师和建造者配对构建目标结构的过程，作为离散的游戏观察序列。每个观察包含时间戳、聊天历史、建造者的位置、建造者的块库存以及构建区域中块的位置。

角色与交互 数据集中的交互涉及两个角色：建筑师和建造者。建筑师提供构建目标结构的指令，建造者则根据指令放置块或请求澄清不明确的指令。

数据集结构 数据集分为单轮和多轮数据集。多轮数据集记录了建筑师和建造者之间的整体协作目标，每个结构有多个协作会话，每个会话包含一系列“回合”，每个回合代表一个原子指令及其在块世界中的相应变化。单轮数据集则从随机链步骤分支出任务，不形成链结构。

数据集使用 使用IGLU-datasets库可以轻松灵活地处理单轮和多轮数据集。通过创建MultiturnDataset或SingleturnDataset实例，可以自动下载并解析数据集。数据集的样本可以通过.sample()方法随机获取，样本包含对话历史、指令、目标网格和起始网格等信息。

评估方法 数据集提供了基于网格预测的评分计算方法，通过比较预测网格与目标网格的相似性来计算交集得分，该得分可用于评估模型性能或作为强化学习代理的奖励函数。

人类评估数据 数据集还包括了2022年IGLU挑战赛前两名代理的人类评估数据，包含人类评估者的反馈和游戏数据。

参考文献 使用数据集的研究应引用相关论文，详细描述了数据集的收集和应用。

搜集汇总

数据集介绍

构建方式

IGLU数据集构建于一个协作环境中，旨在开发能够通过自然语言指令学习解决任务的交互式代理。数据集通过简化任务，聚焦于一个有限的、类似Minecraft的方块世界中的互动。数据收集过程中，建筑师和建造者配对进行方块建筑任务，建筑师的指令和建造者的反馈被详细记录，形成多轮对话和单轮任务的数据集。多轮数据集记录了建筑师和建造者在构建目标结构时的完整对话和动作序列，而单轮数据集则包含参与者自由构建时的指令和结果。

使用方法

使用IGLU数据集时，可以通过安装提供的API来访问多轮和单轮数据集。API支持自动下载和解析数据，用户可以通过简单的Python代码实例化数据集对象，并随机抽取样本进行分析。每个样本包含对话历史、当前指令、起始和目标方块配置等信息，便于进行任务理解和执行的研究。此外，数据集还提供了用于计算方块结构相似度的工具，支持强化学习等应用场景的研究和开发。

背景与挑战

背景概述

IGLU数据集是由微软等机构于2021年推出的多模态交互数据集，旨在解决协作环境中基于自然语言的交互式任务学习问题。该数据集的核心研究问题是如何通过自然语言指令引导智能体在有限的环境中完成特定任务，如Minecraft风格的方块建筑任务。IGLU数据集包含多轮对话和单轮任务两部分，分别用于模拟同步和异步协作场景。该数据集的推出为自然语言理解、多模态学习以及人机协作等领域提供了重要的研究资源，推动了相关技术的发展。

当前挑战

IGLU数据集面临的挑战主要体现在两个方面。首先，在领域问题方面，如何通过自然语言指令精确引导智能体完成任务是一个复杂的挑战，尤其是在指令模糊或存在歧义的情况下，智能体需要具备理解上下文和澄清问题的能力。其次，在数据集构建过程中，如何确保多模态数据的同步性和一致性，尤其是在记录建筑任务的每一步变化时，数据的准确性和完整性至关重要。此外，如何设计有效的评估指标来衡量智能体的表现，尤其是在多轮交互中，也是一个重要的挑战。

常用场景

经典使用场景

IGLU数据集在交互式语言理解和协作任务中具有广泛的应用。其经典使用场景包括在Minecraft-like的虚拟环境中，通过建筑师与建造者之间的多轮对话，完成特定结构的搭建任务。这种场景不仅模拟了真实世界中的协作过程，还为研究自然语言理解与生成、任务导向对话系统等提供了丰富的实验数据。

解决学术问题

IGLU数据集解决了多个学术研究中的关键问题，特别是在交互式语言理解和协作任务中的挑战。通过提供多模态数据，包括对话历史、建造者位置、方块库存等信息，该数据集为研究如何通过自然语言指令进行任务执行、如何解决指令模糊性问题、以及如何优化协作策略提供了基础。这些研究推动了自然语言处理、强化学习和人机交互领域的发展。

实际应用

在实际应用中，IGLU数据集为开发智能助手、虚拟协作平台和教育工具提供了重要支持。例如，基于该数据集训练的模型可以用于开发能够理解复杂指令并执行任务的虚拟助手，或用于教育场景中，帮助学生通过自然语言指令完成虚拟搭建任务，提升其空间思维和协作能力。

数据集最近研究

最新研究方向

近年来，IGLU数据集在交互式多模态语言理解领域引起了广泛关注。该数据集通过模拟Minecraft-like环境中的积木搭建任务，为研究协作式语言理解提供了丰富的多模态数据。当前的研究方向主要集中在如何通过自然语言指令与环境的交互，提升智能体在复杂任务中的表现。特别是在多轮对话和单轮任务中，研究者们探索了如何通过对话历史、环境状态和指令的关联性，优化智能体的决策过程。此外，IGLU数据集还被广泛应用于强化学习、对话系统和多模态学习等领域，推动了智能体在协作环境中的语言理解和任务执行能力的提升。