byeonghwikim/hssd-hab

HSSD（Habitat Synthetic Scenes Dataset）是一个人工创作的3D场景数据集，它比之前的数据集更接近真实场景。该数据集代表了真实的室内环境，包含211个场景和超过18000个真实世界物体的模型。数据集的结构包括对象、场景、阶段等文件夹，以及用于Habitat模拟器的配置文件。此外，数据集还支持Habitat 3.0的重新排列任务，提供了更新的碰撞器、调整和去杂乱的场景内容、接收器网格和接收器过滤器文件。

HSSD (Habitat Synthetic Scenes Dataset) is a manually constructed 3D scene dataset that exhibits greater fidelity to real-world scenes compared to prior datasets. This dataset encompasses realistic indoor environments, comprising 211 unique scenes and models of over 18,000 real-world objects. Its directory structure includes folders for objects, scenes, phases, among others, as well as configuration files tailored for the Habitat simulator. Additionally, this dataset supports rearrangement tasks for Habitat 3.0, providing updated colliders, adjusted and de-cluttered scene content, receiver meshes, and receiver filter files.

原始信息汇总

HSSD: Habitat Synthetic Scenes Dataset

概述

HSSD（Habitat Synthetic Scenes Dataset）是一个由人类作者创建的3D场景数据集，相比之前的其他数据集更接近真实场景。该数据集包含211个多样化的场景和超过18000个真实世界对象的模型。

数据集结构

├── objects │ ├── /.glb │ ├── /.collider.glb │ ├── /.filteredSupportSurface(.ply|.glb) │ ├── /.object_config.json ├── stages │ ├── *.glb │ ├── *.stage_config.json ├── scenes │ ├── *.scene_instance.json ├── scenes_uncluttered │ ├── *.scene_instance.json ├── scene_filter_files │ ├── *.rec_filter.json └── hssd-hab.scene_dataset_config.json └── hssd-hab-uncluttered.scene_dataset_config.json

• hssd-hab.scene_dataset_config.json：该场景数据集配置文件聚合了描述数据集中所有舞台、对象和场景所需的资产和元数据。
• objects：代表构成场景的独立对象的3D模型，包含配置文件、渲染资产、碰撞器资产和容器网格资产。
• stages：Habitat中的舞台是由构成场景背景的静态网格组件组成的（例如地板、墙壁、楼梯等）。
• scenes：场景是由静态舞台和可变数量的对象组成的单个3D世界。

支持重排任务的资产：

支持Habitat 3.0的具身重排任务，包括更新后的碰撞器、调整和去杂乱的场景内容、容器网格和容器过滤文件。

• hssd-hab-uncluttered.scene_dataset_config.json：该场景数据集配置文件聚合了用于重排任务的调整和去杂乱的场景。
• scenes_uncluttered：包含调整后的场景实例配置文件。
• scene_filter_files：场景过滤文件根据模拟启发式和手动编辑将场景中的可用容器实例分为活动和非活动组，由RearrangeEpisodeGenerator用于构建有效的RearrangeEpisode数据集。

版本历史

• v0.2.5（进行中）：支持重排的HSSD
  • 添加了描述小对象支持表面的容器网格（例如桌面或架子表面）。
  • 为具有容器网格的资产添加了碰撞器网格（.collider.glb）以支持模拟。
  • 添加了新的场景scenes_uncluttered和新场景数据集hssd-hab-uncluttered，包含用于具身重排任务的调整和去杂乱的场景版本。
  • 添加了scene_filter_files，将每个场景中的容器分为活动和非活动组，用于生成RearrangeEpisode。
• v0.2.4：
  • 重新压缩了几个对象GLB以保持PBR材质状态。
  • 添加了包含对象元数据的CSV文件和Habitat的语义词典文件。
  • 添加了训练/验证场景分割文件。
• v0.2.3：首次发布。

搜集汇总

数据集介绍

构建方式

HSSD数据集的构建基于真实室内场景的再现，它精心设计并包含了211个多样化的场景，以及超过18000个现实世界物体的模型。数据集的组织结构包括3D模型、静态场景和场景实例配置文件等，通过这些组件的搭配，构建出一个既真实又适合Embodied AI研究的虚拟环境。

使用方法

使用HSSD数据集首先需要安装habitat-sim，之后可以通过habitat-viewer加载场景进行交互式查看。此外，结合Habitat-Lab库，研究者可以定义Embodied AI任务，训练智能体，并使用标准指标进行性能评估。数据集的详细使用方法和示例代码均可在官方文档中找到。

背景与挑战

背景概述

HSSD（Habitat Synthetic Scenes Dataset）数据集，由人类创作，旨在通过其丰富多样的3D场景，更贴近现实场景的特性，为Embodied AI领域提供高质量的模拟环境。该数据集创建于近期，由3Dlg-HCVC团队开发，包含了211个场景和超过18000个现实世界物体的模型。HSSD数据集的推出，为Embodied AI的研究提供了新的视角和工具，对相关领域产生了显著影响。

当前挑战

HSSD数据集在研究领域中解决了构建逼真3D场景的挑战，同时，其构建过程中也面临了诸多挑战。首先，确保场景的真实性和多样性需要大量细致的工作。其次，数据集的构建需要考虑与Habitat模拟器的兼容性，以及支持Embodied AI任务的特定需求，如重排任务中的场景调整和去杂。此外，数据集的压缩与解压缩、物体配置文件的优化，以及场景中Receptacle实例的合理分组等都是数据集构建中需要克服的技术难题。

常用场景

经典使用场景

在计算机视觉与机器人领域，HSSD数据集的典型应用场景在于模拟与训练具身智能体。该数据集提供了高度逼真的三维室内场景，为智能体导航、交互、以及任务执行提供了丰富的环境基础。通过这些场景，研究者能够训练智能体在复杂环境中的感知、决策与操作能力。

解决学术问题

HSSD数据集解决了现有数据集中场景真实感不足的问题，其丰富的场景细节和多样的物体布局，使得智能体能够更好地学习到现实世界中的复杂性和多样性。此外，该数据集为研究具身智能在室内环境中的交互提供了高质量的3D模型和场景配置，有助于推动相关学术研究的深入。

实际应用

在实际应用中，HSSD数据集可以被用于开发智能家居系统、机器人辅助、以及虚拟现实等领域。通过模拟真实环境中的交互，该数据集有助于提升系统的环境适应能力和任务执行效率，进而推动相关技术的商业化进程。

数据集最近研究

最新研究方向

HSSD数据集作为 Habitat Synthetic Scenes Dataset，其以逼真的人类创作3D场景而显著，为Embodied AI领域提供了重要的资源。近期研究方向主要聚焦于利用该数据集进行场景理解和交互任务，特别是在模拟现实世界内部环境中的物体摆放、场景重组等任务。该数据集的应用推动了智能体在复杂环境中的导航、指令跟随、问题解答等任务的研究进展，为Embodied AI技术在智能家居、机器人导航等领域的实际应用奠定了基础。此外，HSSD的更新增加了对场景重组任务的支持，通过提供调整后的无杂乱场景配置，进一步推动了相关任务的研究，具有显著的影响和意义。