多种交互模式与多平台可视化数据集
收藏国家基础学科公共科学数据中心2026-01-30 收录
下载链接：
https://nbsdc.cn/general/dataDetail?id=67d50c8f195d260905af948e&type=1
下载链接
链接失效反馈官方服务：
资源简介：
数据内容：包含了一个飞机翼面的模拟件三维模型。根据多人协同所需要的不同类型的交互模式，包含了一组由Leap Motion传感器采集的近红外不同手势的手部动作交互信息图像数据。包含了根据实际装配任务采集下的装配语音交互信息数据。包含了根据装配过程所建立的头戴式设备与平板式设备中相应的交互可视化信息数据。最后依据多模式装配需求编写了多种模式可视化交互模块的代码与使用说明以及基于多传感器融合数据的可视化渲染及引导模块的代码与使用说明。
采集方案：在SolidWorks中对飞机翼面模拟环境进行建模并进行轻量化处理，并导出为stl文件格式，形成模拟飞机翼面的三维模型。利用自定义的捕获设备，由3个关节臂的铝制结构组成，搭载了4个摄像头，以及Leap Motion运动控制器。摄像头的位置如下：一个位于手臂中部，朝向向下；另外两个位于侧臂，方向为45°；最后一个相机位于结构的基座处。最后，在摄像机前方有一个固定在铝框架上的Leap Motion运动控制器。针对语音装配指令，依据现行国家标准GB/T 40727-2021和GB/T 43780-2024作为技术规范，结合装配工艺指导卡和设计图纸，设计相应的装配指令。用高灵敏度的定向麦克风作为录音设备，采用数字音频工作站（DAW）进行录音和后期编辑，对飞机生产装配指令进行录制。根据盲区三维模型环境，首先在Unity3D中建立画布，再建立不同的空物体来搭载不同的界面；通过MRTK工具包建立可以在头戴式设备或平板式设备中使用的可视化指令按钮，从而实现相应的功能，再将其导出为prefab文件格式作为导出包。获取到力传感器的六自由度参数，解算出拿取到的零件位置，推断出拿取的零件种类。
体量：大约385MB
提供机构：
西北工业大学
