客餐厅服务机器人训练场景数据

该数据集聚焦于现代家庭中的客餐厅一体化开放空间。场景内包含精细建模的典型家具摆设，如组合沙发、电视柜、餐桌椅、灯具、绿植等，并模拟了不同的家居风格（如现代简约、北欧、新中式）和布局。环境涵盖了多种光照条件（日间自然光、夜间灯光）、不同程度的日常杂物摆放（如桌面上的水杯、遥控器），以还原真实家庭环境的动态性和复杂性，确保训练出的机器人具备高度的实用性和鲁棒性。用于给机器人进行客餐厅场景训练本算法旨在处理三维模型，通过一系列步骤实现模型的分割、实例重组及格式转换，以生成新的实例模型，用于场景渲染和机器人训练等应用。
1.模型分割：本步骤接收任意初始三维模型作为输入，三维模型包括位置、尺寸、材质、顶点信息、法相信息、面片信息字段，运用拓扑连通性聚类算法将该组合模型拆分为多个面片组（face group），获取模型类型字段。此步骤有效提取模型的结构特征，有助于后续的实例重组。
2.模型实例重组：在此步骤中，对三维模型的位置、尺寸、材质、顶点信息、法相信息、面片信息字段进行分割，再利用Qwen-VL-Max和GroundingDino算法对分割后的部件进行组合，形成独立的模型实例，并获取其中的标签字段。标签字段能够使每个模型实例能够基于原模型的结构和信息进行识别和应用。
3.模型格式转换：本步骤将拆分获得的实例模型及其对应的材质信息转换为OpenUSD格式，并获取其中的碰撞体设置信息字段和动画约束信息字段，以使模型能够在场景中动起来。
通过以上步骤，将原本数据库中的模型进行重组，生成新的实例模型，并被组装成一个完整的场景，以满足场景渲染、机器人训练等多个应用需求。

搜集汇总

背景与挑战

背景概述

该数据集是用于客餐厅服务机器人训练的三维场景数据，包含328.07条记录，数据结构涵盖模型编号、语义标签、三维包围盒等12个字段，模拟了现代家庭客餐厅的开放空间，包括多种家具摆设、家居风格和光照条件，以还原真实环境的动态性和复杂性。数据集通过算法处理实现模型分割、实例重组和格式转换，旨在提升机器人在实际家庭场景中的实用性和鲁棒性，适用于机器人训练和场景渲染等应用。