多模态衍射平板波导数据集

多模态深度学习在人工智能生成内容（AIGC）领域中，对于支持多种数据类型的处理和学习起着关键作用 。然而，由于缺乏光域内的丰富参数训练能力，大多数用于深度学习的光子神经形态处理器仅能处理单一数据模态（视觉或听觉）。在此，为了解决这些限制，我们提出并展示了一种基于具有海量可调谐元件的片上衍射光学的可训练衍射光学神经网络（TDONN）芯片 。该 TDONN 芯片包含一个输入层、五个隐藏层和一个输出层，仅需一次前向传播即可获得推理结果，无需频繁的光电转换 。我们开发了专门针对光子神经元的定制随机梯度下降算法和 Drop-out 机制，以实现光域内的原位训练和快速收敛 。该 TDONN 芯片实现了 217.6 TOPS（每秒万亿次操作）的潜在吞吐量，并具有高计算密度（447.7~TOPS/mm^2）、高系统级能效（7.28~TOPS/W）和低光延迟（30.2 ps）。该 TDONN 芯片成功实现了不同模态（视觉、听觉和触觉）下的四分类任务，并在多模态测试集上达到了 85.7% 的准确率 。我们的工作为利用集成光子处理器进行多模态深度学习开辟了新途径，为利用光子技术实现低功耗 AI 大模型提供了潜在解决方案

搜集汇总

背景与挑战

背景概述

该数据集关联于一种基于片上衍射光学的可训练衍射光学神经网络芯片，旨在支持多模态深度学习，处理视觉、听觉和触觉数据。该芯片实现了高计算性能和85.7%的多模态分类准确率，为低功耗AI模型提供了光子解决方案。