用于药房服务机器人训练的三维模型数据

本数据集专为开发和训练在药房环境中工作的服务机器人而设计，旨在提升其在药品密集、操作规范要求高的场景下的精准识别、安全操作与流程化作业能力。数据集高度还原了社会药房或医院药房的室内环境。核心场景包括后端药品货架区（包含密集排列的西药货架、中药柜、特殊药品专用柜）、前台发药窗口以及配药工作区。模型涵盖了从药品（各种规格的药盒、药瓶、药板）、货架、配药台、配药车，到药房标志、处方单、药品说明书等细节物件。环境特别模拟了药品包装的高相似度、标签文字的复杂性以及货架布局的密集性，以训练机器人在真实药房环境中的鲁棒性。本算法旨在处理三维模型，通过一系列步骤实现模型的分割、实例重组及格式转换，以生成新的实例模型，用于场景渲染和机器人训练等应用。

1.模型分割：本步骤接收任意初始三维模型作为输入，三维模型包括位置、尺寸、材质、顶点信息、法相信息、面片信息字段，运用拓扑连通性聚类算法将该组合模型拆分为多个面片组（face group），获取模型类型字段。此步骤有效提取模型的结构特征，有助于后续的实例重组。

2.模型实例重组：在此步骤中，对三维模型的位置、尺寸、材质、顶点信息、法相信息、面片信息字段进行分割，再利用Qwen-VL-Max和GroundingDino算法对分割后的部件进行组合，形成独立的模型实例，并获取其中的标签字段。标签字段能够使每个模型实例能够基于原模型的结构和信息进行识别和应用。

3.模型格式转换：本步骤将拆分获得的实例模型及其对应的材质信息转换为OpenUSD格式，并获取其中的碰撞体设置信息字段和动画约束信息字段，以使模型能够在场景中动起来。

通过以上步骤，将原本数据库中的模型进行重组，生成新的实例模型，并被组装成一个完整的场景，以满足场景渲染、机器人训练等多个应用需求。

搜集汇总

背景与挑战

背景概述

该数据集是一个专为药房服务机器人训练设计的三维模型数据集合，包含272.68条数据，数据结构涵盖药品SKU编号、语义标签、分类、位姿信息等12个字段，模拟真实药房环境中的药品、货架和工作区等细节。数据集通过算法进行模型分割、实例重组和格式转换，生成OpenUSD格式的实例模型，旨在提升机器人在药品密集、操作规范要求高场景下的精准识别和安全操作能力，适用于机器人训练和场景渲染等应用。