DialFRED

DialFRED是由加州大学洛杉矶分校和亚马逊Alexa AI合作创建的具身指令跟随基准数据集，旨在通过对话增强机器人在复杂环境中的任务执行能力。该数据集包含53,000个人类标注的与任务相关的问答对，涵盖25种子目标级任务，基于ALFRED数据集扩展而成。数据来源于虚拟环境中的人类标注和专家演示，通过众包方式收集问题，并由模拟人类的“神谕”提供答案。DialFRED的创建过程包括对ALFRED任务类型的扩展和指令的增强，以增加任务的多样性和语言的模糊性。其主要应用领域是开发能够主动询问人类以获取额外信息的对话型机器人，以提高任务完成的准确性和效率。

DialFRED is an embodied instruction-following benchmark dataset co-developed by the University of California, Los Angeles and Amazon Alexa AI, aimed at enhancing robots' task execution performance in complex environments through conversational interactions. This dataset contains 53,000 human-annotated task-related question-answer pairs across 25 sub-goal-level tasks, and is extended from the ALFRED dataset. The data is sourced from human annotations and expert demonstrations in virtual environments: questions are collected via crowdsourcing, while answers are provided by an "oracle" that simulates human users. The creation process of DialFRED entails expanding ALFRED's task categories and augmenting task instructions, thereby increasing task diversity and linguistic ambiguity. Its primary application domain is the development of conversational robots that can proactively query humans for supplementary information to boost the accuracy and efficiency of task completion.

原始信息汇总

DialFRED: 对话驱动的具身指令跟随数据集

数据集简介

DialFRED是一个基于ALFRED基准的对话驱动的具身指令跟随基准数据集。它允许代理主动向用户提问，利用用户的回应信息更好地完成任务。我们发布了一个人工注释的数据集，包含53K个与任务相关的问答对和一个回答问题的Oracle。

依赖

• numpy
• pandas
• opencv-python
• tqdm
• vocab
• revtok
• numpy
• Pillow
• sacred
• etaprogress
• scikit-video
• lmdb
• gtimer
• filelock
• networkx
• termcolor
• torch==1.7.1
• torchvision==0.8.2
• tensorboardX==1.8
• ai2thor==2.1.0
• stanza
• Werkzeug==2.1.1
• E.T. (https://github.com/alexpashevich/E.T.)

数据准备

• 下载并准备ALFRED数据集。
• 使用脚本合并低级动作到子目标，并分割子目标。
• 创建新的指令以增加语言多样性。
• 构建Oracle以从虚拟环境中提取地面实况信息并生成答案。

人类QA数据

• 数据集包含53K个通过众包收集的任务导向问答对，存储在./data/dialfred_human_qa.csv。
• 数据集列定义包括数据集分割、任务ID、试验ID、房间类型、任务类型、子目标开始和结束时间、子目标中的低级动作数量、子目标索引、子目标指令、动词、名词1、名词2、问题类型、问题、答案和必要性。

模型训练与评估

• 提供了训练和评估代理的代码，包括训练问题提出者和执行者模型。
• 提供了在未见过的验证集上评估模型的代码。

挑战赛

• 提供了一个测试集来评估模型，包含1092个任务。
• 提供了生成提交文件的示例脚本。

引用

• 如果使用此代码或数据，请引用我们的论文。

bash @article{gao2022dialfred, title={Dialfred: Dialogue-enabled agents for embodied instruction following}, author={Gao, Xiaofeng and Gao, Qiaozi and Gong, Ran and Lin, Kaixiang and Thattai, Govind and Sukhatme, Gaurav S}, journal={arXiv preprint arXiv:2202.13330}, year={2022} }

搜集汇总

数据集介绍

构建方式

DialFRED数据集是在ALFRED基准测试的基础上构建的，通过集成对话功能，允许智能体主动向用户提出问题。该数据集包含了53K个与任务相关的问题和答案，这些问题和答案是由人类注释者提供的，用于辅助智能体更好地完成任务。数据集构建过程中，首先合并了低级别动作以形成子目标，并将单一子目标拆分为多个，同时增加了新的指令以提升语言多样性。

使用方法

使用DialFRED数据集时，用户需要先设置环境变量，安装必要的依赖库，并下载ALFRED数据集和相关预训练的检查点。之后，可以使用提供的数据增强代码来准备数据，创建lmdb格式的数据集，并进行模型的预训练和微调。评估模型时，可以利用测试集来测试模型的性能，并按照挑战的要求提交结果。

背景与挑战

背景概述

DialFRED数据集，基于ALFRED基准，是语言引导的实体AI基准测试之一，要求智能体在环境中导航并操纵物体。该数据集的创建旨在突破传统的一向交流模式，即人类用户向智能体发出自然语言命令，而智能体只能被动地执行命令。DialFRED允许智能体主动向用户提问，通过用户的回应获取额外信息，以更好地完成任务。该数据集由53K个与任务相关的问答对和用于回答问题的 oracle 组成，由人类标注。研究团队提出了一种问询者-执行者框架，问询者通过人类标注数据预训练，并通过强化学习进行微调。实验结果表明，提出正确的问题可以显著提高任务性能。该数据集的创建时间为2022年，主要研究人员包括Gao Xiaofeng等，由相关领域的机构和学者共同推动，对实体AI领域的研究产生了重要影响。

当前挑战

DialFRED数据集面临的挑战主要包括：1）在解决领域问题，即实体指令跟随的挑战，特别是在语言理解和环境交互方面；2）构建过程中遇到的挑战，如数据集的多样性和复杂性，以及如何有效地整合和利用用户反馈信息。具体而言，数据集构建时需要处理如何生成相关的问题和答案，以及如何通过强化学习有效微调问询者模型等关键问题。此外，评价模型的性能和确保数据集的质量也是重要的挑战之一。

常用场景

经典使用场景

DialFRED数据集作为对话驱动的实体指令遵循基准，其经典使用场景在于为实体AI提供一种双向交流能力。在传统的指令遵循任务中，AI通常仅能被动地接收并执行人类的自然语言指令，而DialFRED允许AI主动向人类提问，以获取完成任务所需的额外信息。

解决学术问题

该数据集解决了传统指令遵循任务中信息单向流动的限制，提高了AI在复杂任务中的执行效率。通过引入对话机制，AI可以询问关于目标位置、外观或方向的具体信息，从而更好地理解和执行任务。这一创新极大地推动了对话型实体AI的研究进展，为相关领域的学术研究提供了新的视角和工具。

实际应用

在实际应用场景中，DialFRED数据集可用于提升虚拟助手的交互能力，使其在执行复杂任务时能够更加智能地与用户沟通，获取必要信息。这种能力在智能家居控制、游戏AI以及远程操作等场景中尤为重要，有助于提升系统的自主性和用户满意度。

数据集最近研究

最新研究方向

DialFRED数据集作为对话驱动的具身指令遵循基准，拓展了传统的指令遵循任务，允许智能体主动提问以获取完成任务所需的额外信息。近期研究集中于开发能够提出恰当问题的智能体，通过强化学习与预训练相结合的方法，显著提高了任务完成性能。该研究不仅推动了自然语言处理与机器人技术的融合，也为智能体在实际环境中的交互提供了新的视角，对促进具身AI的发展具有重要意义。