DialFRED
收藏资源简介：
DialFRED是由加州大学洛杉矶分校和亚马逊Alexa AI合作创建的具身指令跟随基准数据集，旨在通过对话增强机器人在复杂环境中的任务执行能力。该数据集包含53,000个人类标注的与任务相关的问答对，涵盖25种子目标级任务，基于ALFRED数据集扩展而成。数据来源于虚拟环境中的人类标注和专家演示，通过众包方式收集问题，并由模拟人类的“神谕”提供答案。DialFRED的创建过程包括对ALFRED任务类型的扩展和指令的增强，以增加任务的多样性和语言的模糊性。其主要应用领域是开发能够主动询问人类以获取额外信息的对话型机器人，以提高任务完成的准确性和效率。
DialFRED is an embodied instruction-following benchmark dataset co-developed by the University of California, Los Angeles and Amazon Alexa AI, aimed at enhancing robots' task execution performance in complex environments through conversational interactions. This dataset contains 53,000 human-annotated task-related question-answer pairs across 25 sub-goal-level tasks, and is extended from the ALFRED dataset. The data is sourced from human annotations and expert demonstrations in virtual environments: questions are collected via crowdsourcing, while answers are provided by an "oracle" that simulates human users. The creation process of DialFRED entails expanding ALFRED's task categories and augmenting task instructions, thereby increasing task diversity and linguistic ambiguity. Its primary application domain is the development of conversational robots that can proactively query humans for supplementary information to boost the accuracy and efficiency of task completion.
DialFRED: 对话驱动的具身指令跟随数据集
数据集简介
DialFRED是一个基于ALFRED基准的对话驱动的具身指令跟随基准数据集。它允许代理主动向用户提问，利用用户的回应信息更好地完成任务。我们发布了一个人工注释的数据集，包含53K个与任务相关的问答对和一个回答问题的Oracle。
依赖
- numpy
- pandas
- opencv-python
- tqdm
- vocab
- revtok
- numpy
- Pillow
- sacred
- etaprogress
- scikit-video
- lmdb
- gtimer
- filelock
- networkx
- termcolor
- torch==1.7.1
- torchvision==0.8.2
- tensorboardX==1.8
- ai2thor==2.1.0
- stanza
- Werkzeug==2.1.1
- E.T. (https://github.com/alexpashevich/E.T.)
数据准备
- 下载并准备ALFRED数据集。
- 使用脚本合并低级动作到子目标，并分割子目标。
- 创建新的指令以增加语言多样性。
- 构建Oracle以从虚拟环境中提取地面实况信息并生成答案。
人类QA数据
- 数据集包含53K个通过众包收集的任务导向问答对，存储在
./data/dialfred_human_qa.csv。 - 数据集列定义包括数据集分割、任务ID、试验ID、房间类型、任务类型、子目标开始和结束时间、子目标中的低级动作数量、子目标索引、子目标指令、动词、名词1、名词2、问题类型、问题、答案和必要性。
模型训练与评估
- 提供了训练和评估代理的代码，包括训练问题提出者和执行者模型。
- 提供了在未见过的验证集上评估模型的代码。
挑战赛
- 提供了一个测试集来评估模型，包含1092个任务。
- 提供了生成提交文件的示例脚本。
引用
- 如果使用此代码或数据，请引用我们的论文。
bash @article{gao2022dialfred, title={Dialfred: Dialogue-enabled agents for embodied instruction following}, author={Gao, Xiaofeng and Gao, Qiaozi and Gong, Ran and Lin, Kaixiang and Thattai, Govind and Sukhatme, Gaurav S}, journal={arXiv preprint arXiv:2202.13330}, year={2022} }
