IDAT (IGLU Dataset And Toolkit)

IDAT数据集由麻省理工学院等机构创建，是一个多模态数据集，专注于在类似Minecraft的3D体素世界中收集交互式接地语言指令。数据集包含约9000条自然语言指令和1182个澄清问题，通过一个可扩展的数据收集工具在众包平台上收集。数据集的创建旨在支持交互式AI代理的研究和开发，特别是在理解和执行基于自然语言的指令方面，以解决复杂的交互任务。

The IDAT dataset, created by institutions including MIT, is a multimodal dataset focused on collecting interactive grounded language instructions within Minecraft-like 3D voxel worlds. It contains approximately 9,000 natural language instructions and 1,182 clarification questions, which were collected via a scalable data collection tool on crowdsourcing platforms. This dataset is developed to support the research and development of interactive AI Agents, particularly in understanding and executing natural language-based instructions to address complex interactive tasks.

原始信息汇总

IGLU 数据集

数据集概述

IGLU 项目的主要目标是解决如何在协作环境中开发交互式代理，这些代理在学习解决任务的同时，通过基于实体的自然语言指令进行交互。为此，项目收集了一个多模态数据集，记录了在块构建任务中的不同类型交互。

数据集组成

数据集分为两部分：

1. 多轮（种子）数据集：建筑师提供目标结构，并向建造者提供如何创建目标结构的指令。建造者可以向建筑师提出澄清问题，如果指令不明确。
2. 单轮数据集：参与者执行自由形式的构建操作，同时提供指令，允许其他参与者重建相同的结构。这些单轮任务段支持参与者之间的异步协作。

数据结构

多轮（种子）数据集

每个游戏观察包含以下信息：

• 时间戳
• 聊天历史记录
• 建造者的位置（x, y, z 坐标及俯仰和偏航角）
• 建造者的方块库存
• 构建区域内方块的位置

单轮数据集

数据集包含以下文件和目录：

• clarifying_questions_train.csv：包含游戏会话ID、初始世界状态路径、输入指令、指令是否清晰、澄清问题等信息。
• question_bank.csv：包含澄清问题ID与问题之间的映射。
• initial_world_states 目录：包含参与者构建的初始世界状态。
• target_world_states 目录：包含自由形式构建任务后的最终世界状态。

数据访问

通过 iglu_datasets 库可以轻松下载和访问单轮和多轮数据集。示例如下： python from iglu_datasets import MultiturnDataset, SingleturnDataset

创建多轮数据集实例

dataset = MultiturnDataset(dataset_version=v1.0)

创建单轮数据集实例

dataset = SingleturnDataset(dataset_version=v1.0)

数据示例

使用 .sample() 方法可以从数据集中随机获取一个示例。示例包含以下字段：

• dialog：之前的对话（不包括当前指令）
• instruction：当前指令
• target_grid：目标结构的3D numpy数组
• starting_grid：起始结构的3D numpy数组

数据集结构

多轮数据集的结构如下：

dialogs.csv builder-data/ 1-c118/ step-2 9-c118/ step-2 step-4 step-6 1-c120/ step-2 23-c126/ step-2 step-4 step-6 step-8

单轮数据集的结构如下：

clarifying_questions_train.csv question_bank.csv initial_world_states/ target_world_states/ actionHit/

数据集评估

数据集的评估基于预测网格与目标网格的相似性得分。得分计算考虑了构建方块与目标结构的交集，并支持强化学习代理的奖励函数。

参考文献

数据集的收集和描述在以下论文中详细说明：

• Mohanty, Shrestha et al. "Collecting Interactive Multi-modal Datasets for Grounded Language Understanding."
• Kiseleva, Julia et al. "Interactive grounded language understanding in a collaborative environment: Iglu 2021."
• Kiseleva, Julia et al. "Iglu 2022: Interactive grounded language understanding in a collaborative environment at neurips 2022."

搜集汇总

数据集介绍

构建方式

IDAT数据集通过在类似Minecraft的体素世界中收集交互式语言指令和澄清问题而构建。数据收集工具是一个可扩展的开源工具，它允许研究人员在浏览器中运行，以便在众包平台上收集大量的标注数据。该工具提供了一个高度可扩展的环境，允许研究人员根据需要定制数据收集设置。数据集包括大约9,000个自然语言指令和1,000多个澄清问题，以及相应的世界状态、执行的动作和体素世界的图像。

特点

IDAT数据集的特点在于其多模态性质，它包含了自然语言指令、相应的动作、世界状态和体素世界的图像。此外，数据集还包含了大量澄清问题，这些问题是在指令模糊不清时提出的。数据集的多样性体现在目标结构的类型上，这些结构被设计为具有不同难度水平的建筑类型。此外，IDAT还提供了一个人类在环中的交互式评估平台，允许人类评估者通过多轮对话与强化学习代理进行交互，并比较不同代理的性能。

使用方法

IDAT数据集可用于训练和评估能够理解和执行自然语言指令的交互式任务解决代理。数据集可以用于研究和开发新的对话系统和自然语言接口。此外，数据收集工具可以用于收集更多数据，以便扩展现有的数据集或收集定制设置的数据。人类在环中的交互式评估平台可用于定性和定量地评估代理的性能，并提供有关其交互能力的深入见解。

背景与挑战

背景概述

IDAT (IGLU Dataset And Toolkit) 是一个多模态数据集和工具包，旨在促进构建和评估能够理解和执行基于自然语言指令的交互式任务解决智能体。该数据集由 Massachusetts Institute of Technology, University of Waterloo, Meta AI, AIRI, École Polytechnique de Montréal 和 Microsoft Research 的研究人员共同创建，于 2021 年和 2022 年在 NeurIPS 大会上通过 IGLU 竞赛推出。IDAT 的核心研究问题是开发能够理解和执行自然语言指令的交互式智能体，特别是强调自然语言对话和澄清的细微差别。该数据集对相关领域的影响力体现在提供了必要的数据、工具和见解，以评估与人类进行交互式多轮沟通的有效性。

当前挑战

IDAT 数据集和相关工具包面临的主要挑战包括：1) 领域问题挑战：如何开发能够理解和执行自然语言指令的交互式智能体，并解决人类指令固有的歧义性问题；2) 构建过程中的挑战：数据收集过程的复杂性、耗时以及难以扩展的问题。为了解决这些挑战，IDAT 提供了一个可扩展的数据收集工具，用于在类似 Minecraft 的环境中收集交互式基于语言的指令和澄清问题。此外，还提供了一个人类参与的交互式评估平台，用于通过多轮与人类标注者的沟通来评估智能体的性能。

常用场景

经典使用场景

IDAT数据集经典使用场景描述

解决学术问题

IDAT数据集解决学术问题描述

衍生相关工作

IDAT数据集衍生相关工作描述