ReALFRED

ReALFRED数据集由首尔国立大学创建，旨在通过3D捕捉的真实世界场景、物体和房间布局，训练机器人完成家庭任务。数据集包含超过30,000条记录，涵盖多房间和3D捕捉的环境，支持对象交互和自然语言指令理解。创建过程中，通过访问真实住宅并使用3D扫描技术收集数据，确保了数据的真实性和多样性。ReALFRED主要应用于机器人学习和家庭任务自动化，旨在缩小模拟环境与真实环境之间的差距，提高机器人在复杂家庭环境中的适应性和执行能力。

ReALFRED dataset was developed by Seoul National University, aiming to train robots to complete household tasks using real-world scenes, objects and room layouts captured via 3D scanning technologies. The dataset contains over 30,000 records, covering multi-room and 3D-captured environments, and supports object interaction and natural language instruction understanding. During its creation, data was collected by visiting real residential homes and utilizing 3D scanning techniques, which ensures the authenticity and diversity of the dataset. ReALFRED is primarily applied in robot learning and household task automation, with the goal of bridging the gap between simulated environments and real-world environments, and enhancing the adaptability and execution capabilities of robots in complex household scenarios.

原始信息汇总

ReALFRED 数据集概述

数据集简介

ReALFRED 是一个在照片级真实环境中进行具身指令跟随的基准测试。该数据集通过使用真实世界的场景、物体和房间布局，旨在训练代理完成家庭任务，通过理解自由形式的语言指令并在大型、多房间和3D捕捉的场景中与物体互动。ReALFRED 扩展了 ALFRED 基准，更新了更大的环境空间和更小的视觉领域差距。

数据集下载

• 注释文件：从 Hugging Face 仓库下载注释文件。

  git clone https://huggingface.co/datasets/SNUMPR/realfred_json data

• ResNet-18 特征和注释文件：从 Hugging Face 仓库下载 ResNet-18 特征和注释文件，占用空间约2.3TB。

  git clone https://huggingface.co/datasets/SNUMPR/realfred_feat data

基准代码

ReALFRED 提供了多个基准模型的代码，包括：

• Seq2Seq
• MOCA
• ABP
• HLSM
• FILM
• LLM-Planner
• CAPEAM

硬件要求

• GPU：RTX A6000
• CPU：Intel(R) Core(TM) i7-12700K CPU @ 3.60GHz
• RAM：64GB
• OS：Ubuntu 20.04

引用

@inproceedings{kim2024realfred, author = {Kim, Taewoong and Min, Cheolhong and Kim, Byeonghwi and Kim, Jinyeon and Jeung, Wonje and Choi, Jonghyun}, title = {ReALFRED: An Embodied Instruction Following Benchmark in Photo-Realistic Environment}, booktitle = {ECCV}, year = {2024} }

搜集汇总

数据集介绍

构建方式

ReALFRED数据集通过3D扫描真实世界环境构建，包括多个房间和可交互的物体。为了实现物体交互，研究人员手动将3D扫描中的物体部分替换为3D物体资产。此外，他们收集了大量的专家演示数据，以及由人类标注的自由形式语言指令，以支持基于语言理解的复杂家务任务的完成。

特点

ReALFRED数据集的特点包括：1）真实的环境：数据集包含真实世界环境的3D扫描，具有多个房间和可交互的物体，为机器人代理提供了更接近现实世界的环境；2）自由形式语言指令：数据集提供了30,696条自由形式语言指令，由人类标注，确保了高质量的语言理解任务；3）复杂性和多样性：数据集提供了更广泛的任务类型和物体类别，以及更大的环境空间，增加了任务的复杂性和多样性。

使用方法

使用ReALFRED数据集的方法包括：1）训练和评估机器人代理：研究人员可以使用该数据集训练和评估机器人代理在真实世界环境中理解和执行复杂家务任务的能力；2）研究语言理解和物体交互：数据集提供了大量的自由形式语言指令和可交互的物体，可以用于研究语言理解和物体交互的相关问题；3）Sim2Real迁移实验：研究人员可以使用该数据集进行Sim2Real迁移实验，以研究从模拟环境到真实世界环境的迁移问题。

背景与挑战

背景概述

ReALFRED数据集的提出旨在解决现有虚拟环境中机器人在执行日常家务任务时面临的挑战。这些虚拟环境虽然促进了研究的进展，但由于对象交互性有限、视觉外观与现实环境不同或环境规模相对较小，导致在虚拟场景中学习的模型难以直接部署。ReALFRED数据集由首尔国立大学的研究团队创建，通过采用真实世界的场景、对象和房间布局，使代理能够通过理解自由形式的语言指令并在大型、多房间和3D捕获的场景中与对象交互来完成家务任务。该数据集扩展了ALFRED基准，更新了更大的环境空间，并缩小了视觉领域的差距。ReALFRED的出现鼓励了社区在更现实的环境中开发方法，并通过分析先前为ALFRED基准设计的模型，发现它们在所有指标上都表现出较低的性能，这表明了在更现实的环境中开发新方法的必要性。该数据集的代码和数据已公开发布，为研究人员提供了宝贵的资源，以探索机器人在现实世界场景中执行复杂任务的能力。

当前挑战

ReALFRED数据集带来了两个主要挑战：1)在大场景中导航的挑战；2)克服房间之间狭窄通道的挑战。这些挑战反映了在多房间、家庭规模的复杂环境中完成任务所需的模型能力。ReALFRED的环境比之前的ALFRED基准大得多，这使得代理在更大的空间中进行导航变得更加困难。此外，ReALFRED中的狭窄通道可能导致代理在导航时频繁碰撞。这些挑战表明，现有的模型在现实世界环境中执行复杂任务时可能需要进一步改进。因此，ReALFRED数据集为研究人员提供了一个平台，以开发能够克服这些挑战的新方法，并推动机器人在现实世界场景中执行复杂任务的能力。

常用场景

经典使用场景

ReALFRED数据集主要用于训练和评估机器人代理在理解自由形式的语言指令后，与真实场景中的物体进行交互，并完成家庭任务。该数据集提供了一个3D捕捉的真实环境，包括多个房间和可交互的物体，使代理能够在更接近现实世界的环境中学习和执行任务。

衍生相关工作

ReALFRED数据集的发布促进了机器人代理在理解自然语言指令并与之交互方面的研究。基于ReALFRED数据集，研究人员可以开发出更加智能和实用的机器人代理，并在真实环境中进行测试和评估。此外，ReALFRED数据集还可以用于开发新的算法和技术，如视觉导航、物体识别、路径规划等，以进一步提高机器人代理的性能和实用性。

数据集最近研究

最新研究方向

ReALFRED 数据集的提出，旨在解决现有虚拟环境在机器人学习日常家务任务时的局限性。该数据集通过使用真实世界的场景、物体和房间布局，为机器人提供更为逼真的学习环境。ReALFRED 数据集扩展了 ALFRED 基准，增加了更大的环境空间和更小的视觉领域差距。通过分析先前为 ALFRED 基准设计的模型，ReALFRED 数据集表明，这些模型在所有指标上都表现出较低的性能，这鼓励了社区在更现实的环境中开发新方法。ReALFRED 数据集的提出，为机器人学习在真实世界中执行日常家务任务提供了新的研究方向和挑战。

相关研究论文

• ReALFRED: An Embodied Instruction Following Benchmark in Photo-Realistic Environments

  首尔国立大学 · 2024年