Awesome-EmbodiedAI

这是一个精选的Embodied AI领域数据集合集，涵盖模拟器、任务和数据集，旨在整理和索引与具身人工智能相关的数据集资源，包括视觉内容、动作空间和交互性等描述。

This is a curated dataset collection within the Embodied AI domain, encompassing simulators, tasks, and associated datasets. It is designed to organize and index resources related to embodied artificial intelligence, including descriptions of visual content, action spaces, interactivity, and other relevant aspects.

原始信息汇总

数据集详情总结：Awesome EmbodiedAI

该页面是一个“Awesome EmbodiedAI”精选列表，专注于具身智能（Embodied AI）领域的模拟器、任务和数据集。以下是对其核心内容的总结。

一、 模拟器 (Simulator)

提供了用于渲染图像和模拟智能体行为的平台，列表包含以下主要模拟器：

模拟器	发表年份/会议	视觉内容	动作空间	是否可交互
Habitat-Simulator	ICCV 2019	Matterport3D, House3D, AI2-THOR 等 (部分真实感)	连续	-
AI2-THOR	Arxiv 2019	AI2-THOR	连续	是
CHALET	Arxiv 2019	CHALET	连续	是
Matterport3D	3DV 2017	Matterport3D (真实感)	基于图	-
MINOS	CVPR 2017	SUNCG, Matterport3D (部分真实感)	连续	-
Gibson	CVPR 2018	Gibson, 2D3DS, Matterport3D (真实感)	连续	是
House3D	Arxiv 2018	SUNCG	连续	-
SUNCG	CVPR 2017	SUNCG	-	-
HoME	NIPS 2017	SUNCG (含物体描述语言内容)	连续	-
VirtualHome	CVPR 2018	VirtualHome	连续	是
SceneNet RGB-D	ICCV 2017	SceneNet RGB-D	连续	是

二、 任务 (Tasks)

定义了具身智能体需要完成的具体任务，页面列出的任务包括：

• REVERIE: 根据简洁的自然语言指令，定位无法从起点观察到的远程目标物体。
• VLN: 根据自然语言指令，从起点导航至目标位置。
• VNLA: 在真实感室内环境中，通过语言引导视觉感知的智能体寻找物体。
• EQA: 在3D环境中，通过智能探索收集视觉信息后回答问题。
• IQA: 导航、理解场景、与物体交互，并基于问题规划系列动作。
• TOUCHDOWN: 在真实城市环境中，先遵循导航指令，再根据自然语言描述定位隐藏物体。

三、 数据集 (Dataset)

基于上述模拟器构建，提供训练数据和真实标注，具体列表如下：

数据集	发布年份/会议	基础模拟器	语言内容	适用任务
REVERIE	CVPR 2020	Matterport3D	导航指令	REVERIE, VLN, 指代表达
R2R	CVPR 2018	Matterport3D	导航指令	VLN
VNLA	CVPR 2019	Matterport3D	导航指令与辅助	VNLA, VLN, 指代表达
HANNA	EMNLP 2019	Matterport3D	导航指令与辅助	VNLA, VLN, 指代表达
CVDN	CoRL 2019	Matterport3D	对话	VNLA, VLN
EQA	CVPR 2018	House3D	问答对	EQA, VLN
IQUADv1	CVPR 2018	AI2-THOR	问答对	IQA, EQA, VLN
TOUCHDOWN	CVPR 2019	Google Street View	导航指令	TOUCHDOWN, VLN, 指代表达
Talk The Way	2018	手动拍摄的纽约街区	导航对话	VNLA, VLN
LANI & CHAI	2019	CHALET	导航指令	VLN
Activity & ActivityPrograms	CVPR 2018	-	任务描述	VLN
Habitat	ICCV 2019	-	导航指令、任务描述等	IQA, EQA, VLN, 语言基础等

注意: 页面提及部分模拟器与数据集同名，需注意区分。

搜集汇总

数据集介绍

构建方式

EmbodiedAI领域的蓬勃发展催生了大量模拟器、任务与数据集的涌现。Awesome-EmbodiedAI数据集正是基于这一背景，系统性地梳理与整合了该领域的前沿资源。其构建方式并非从零采集原始数据，而是通过文献调研与社区协作，从已发表的顶级会议（如CVPR、ICCV、NIPS）和预印本平台中，遴选并归类了涵盖模拟环境、具身任务及配套数据集的代表性工作。每个条目均附有出处、论文链接与代码仓库，确保了资源的可追溯性与可复现性。该列表采用模块化结构，将内容划分为模拟器、任务定义与数据集三大板块，部分模拟器因自带同名数据集而跨板块出现，体现了构建过程中的精细考量。

特点

该数据集的核心特点在于其高度的综合性与结构化组织。它不仅囊括了从Habitat-Simulator、AI2-THOR到Matterport3D等多样化的模拟平台，这些平台在视觉真实感（从部分真实到完全真实）、动作空间（连续型与图基型）及交互性上各有侧重，还收录了如VLN、REVERIE、EQA等典型具身任务，清晰定义了智能体需完成的导航、问答或操作目标。此外，数据集部分详细列出了各数据集所依赖的模拟器、语言内容类型（如导航指令、对话或问答对）及适用任务，为研究者快速定位所需资源提供了便利。这种多维度标签化的整理方式，使得该列表成为EmbodiedAI领域不可或缺的导航地图。

使用方法

使用者可依据研究需求，通过该列表高效检索与选用合适的资源。例如，若需进行视觉语言导航（VLN）研究，可在数据集板块定位基于Matterport3D的R2R或REVERIE数据集，并直接跳转至其论文与代码页面获取详细实施细节。对于需要交互式环境的任务，如交互式问答（IQA），可优先选择AI2-THOR或VirtualHome等标注为“Interactive: Yes”的模拟器。该列表还支持跨板块联动，例如在模拟器部分了解Habitat-Sim的能力后，可在数据集部分找到基于其构建的Habitat数据集。研究者亦可直接通过GitHub的Pull Requests或Issues功能贡献新资源，参与该动态列表的持续完善。

背景与挑战

背景概述

具身人工智能（Embodied AI）作为人工智能领域的前沿方向，旨在赋予智能体在复杂物理或虚拟环境中感知、推理与行动的能力。Awesome-EmbodiedAI数据集由国际顶尖研究机构如Facebook AI Research、斯坦福大学、艾伦人工智能研究所等联合推动，自2017年起逐步构建，核心研究问题聚焦于如何通过视觉、语言与行动的协同，使智能体在模拟环境中完成导航、问答、物体操作等任务。该数据集整合了Habitat、AI2-THOR、Matterport3D等主流模拟器，并提供了R2R、REVERIE、EQA等标准化任务基准，显著推动了视觉语言导航、具身问答等子领域的发展，成为评估智能体环境交互能力的重要参照。

当前挑战

该数据集面临的挑战首先体现在领域问题的复杂性上：智能体需在部分可观测的连续环境中，融合视觉感知与自然语言指令进行长程决策，这对鲁棒的跨模态对齐与动态规划能力提出了极高要求。其次，构建过程中存在数据获取与标注的瓶颈，如Matterport3D等真实场景扫描成本高昂，且导航指令的语义多样性难以覆盖真实世界的语言变体。此外，不同模拟器（如Gibson的连续动作空间与SUNCG的离散图结构）之间的异构性，导致数据集难以统一评估标准，限制了方法的跨平台泛化能力。

常用场景

经典使用场景

在具身智能（Embodied AI）这一前沿领域中，Awesome-EmbodiedAI数据集整合了如Matterport3D、AI2-THOR、Gibson等高度仿真的模拟器及其配套数据，为智能体在复杂三维室内环境中执行视觉导航、物体定位与交互等任务提供了标准化的训练与评测平台。其最经典的使用场景聚焦于视觉语言导航（VLN），即让具备视觉感知能力的智能体依据自然语言指令，从起始位置自主规划路径并抵达目标点。这一过程不仅考验智能体对语言指令的语义理解，更要求其在动态、未知的物理空间中实现实时决策与鲁棒导航，从而模拟人类在真实家居或办公环境中的行为模式。

实际应用

在实际应用层面，Awesome-EmbodiedAI所涵盖的模拟器与数据集已广泛赋能于服务机器人、自动驾驶及虚拟现实等领域。例如，在智能家居场景中，基于该数据集训练的导航模型可使扫地机器人或辅助生活机器人通过自然语言指令（如“去厨房拿一瓶水”）自主完成取物任务；在仓储物流中，智能体可结合TOUCHDOWN数据集中的城市导航指令，在复杂街景中实现精准定位与路径跟踪。此外，该数据集还支持人机协作场景中的对话式导航（如CVDN数据集），使机器人能够通过多轮交互逐步理解用户意图，从而提升在养老助残、医疗陪护等社会服务中的实用性与适应性。

衍生相关工作

Awesome-EmbodiedAI催生了大量具有里程碑意义的衍生研究工作。在基础算法层面，基于R2R数据集，研究者提出了序列到序列（Seq2Seq）导航模型、基于注意力机制的跨模态对齐方法以及强化学习驱动的策略优化框架，显著提升了指令跟随的准确率。在任务拓展方面，REVERIE数据集引入远程目标定位任务，推动了从语言指令到视觉目标的端到端推理研究；而CVDN数据集则开创了具身对话导航的先河，促使模型具备主动提问与信息整合能力。此外，Habitat模拟器的发布直接促成了Habitat Challenge系列竞赛的兴起，涌现出如基于拓扑图、语义地图或预训练视觉语言模型的创新方案，这些工作共同构成了具身智能领域从数据驱动到模型演进的完整技术脉络。