室内家装环境机器人训练场景数据

本数据集旨在为家居服务机器人提供全景式、精细化的感知与交互训练基础，支撑机器人在复杂、多样化的完整住宅环境中实现可靠导航、精准操作与高层任务规划。数据集构建了一个完整且真实的数字化家庭环境，覆盖客厅、餐厅、卧室、厨房、卫生间五大核心家居场景。场景内所有物体均经过实例级分割与清洗，确保模型边界清晰、无粘连；并进行了像素级语义标注，类别定义精细。这是常见家装场景，包含餐客厅，卧室，卫生间，厨房等，场景中实现了实例分割清洗，语义精准标注，部分模型提供了部件相关的信息。该场景我们使用了矩形灯光模拟真实的灯光，建议使用版本大于5的unreal仿真软件或版本为2022.1的issac sim仿真软件。
本算法旨在处理三维模型，通过一系列步骤实现模型的分割、实例重组及格式转换，以生成新的实例模型，用于场景渲染和机器人训练等应用。

1.模型分割：本步骤接收任意初始三维模型作为输入，三维模型包括位置、尺寸、材质、顶点信息、法相信息、面片信息字段，运用拓扑连通性聚类算法将该组合模型拆分为多个面片组（face group），获取模型类型字段。此步骤有效提取模型的结构特征，有助于后续的实例重组。

2.模型实例重组：在此步骤中，对三维模型的位置、尺寸、材质、顶点信息、法相信息、面片信息字段进行分割，再利用Qwen-VL-Max和GroundingDino算法对分割后的部件进行组合，形成独立的模型实例，并获取其中的标签字段。标签字段能够使每个模型实例能够基于原模型的结构和信息进行识别和应用。

3.模型格式转换：本步骤将拆分获得的实例模型及其对应的材质信息转换为OpenUSD格式，并获取其中的碰撞体设置信息字段和动画约束信息字段，以使模型能够在场景中动起来。

通过以上步骤，将原本数据库中的模型进行重组，生成新的实例模型，并被组装成一个完整的场景，以满足场景渲染、机器人训练等多个应用需求。

搜集汇总

背景与挑战

背景概述

该数据集是专为家居服务机器人训练设计的室内家装环境场景数据，由杭州群核信息技术有限公司提供，包含176.06条数据，覆盖客厅、餐厅、卧室、厨房和卫生间等核心家居场景。数据集提供了精细的实例分割、语义标注和部件信息，并模拟真实灯光效果，旨在支持机器人在复杂环境中的导航、操作和任务规划能力。数据以zip格式存储，按需更新，适用于使用Unreal或Issac Sim仿真软件的机器人训练应用。