机器学习在光学和声学的应用【系列】——第一篇 深度光学计算及其Inference综述

机器学习在光学和声学的应用

第一篇 深度光学计算及其Inference综述

文章目录

• **机器学习在光学和声学的应用**
• 前言
• 一、光学计算发展史
• 二、用于人工智能的光子线路
• • • 总的来说
• 三、利用自由空间，光学透镜和复杂介质进行计算
• 四、利用深度计算光学与成像的Inference
• 五、在光学显微镜上的应用
• 六、讨论

前言

• 随着人工智能处理的任务的深度和广度，我们需要处理器的处理速度更快而功耗更低。光学计算系统可以满足特定领域的需求，特别是视觉计算方面。虽然经过半个世纪的研究，通用的光学光学计算系统尚未足够成熟到应用到实际场景中。
• Deep neural networks(DNNs) 最近有了突破，这得益于graphics processing units(GPUs) 性能的提升以及通过机器学习的监督学习策略用海量数据更高效的训练DNNs。然而这也意味着在边缘设备（相机、自动驾驶、机器人、IOT设备等）上应用DNNs变得更加困难。
• 相比电子计算系统而言，optical neural networks(ONNs) 和光子线路有着高效的并行性、极低的能量消耗和运作设备小的特点。
• 宏观上DNNs框架分为两个部分——训练(training)和推理(inference)。其中推理部分对全光系统或者电光混合系统有天然的优势。一部分原因是，线性光学元素可以计算卷积、傅里叶变换、随机投影和其他操作能量消耗极低且反应速度极快。

一、光学计算发展史

• 第一个光学神经网络由32个带反馈的神经元全连接组成。【Paper: “Optical implementation of the Hopfield model”Farhat et al., 1985】

  -这一成果激发了光学神经网络新的研究方向，即引入动态非线性晶体，以实现排列在平面上的光电神经元之间的自适应连接。【ONN with nonlinear photoreactive crystals Psaltis et al., 1990】

• 在20世纪90年代，对光学神经网络的兴趣逐步减弱。 这主要有三个原因：（1)模拟加速器的优点(功率和速度)仅对非常大的网络有用；(2)光电实现非线性激活函数的技术不成熟；(3）控制模拟权值的困难使得难以可靠地控制大型光网络。
• 随着光电子学和硅光子学的重大进展的出现，特别是与超大型网络的出现相结合，使许多研究人员重新审视了光学实现神经网络。

二、用于人工智能的光子线路

• 马赫-曾德尔干涉仪(Mach–Zehnder interferometers，MZIs)在全连接结构中组成的网格（例如，基于奇异值矩阵分解的网格）可以实现任意矩阵乘法，而不会产生根本损失；这些体系结构也很容易配置和控制。

  

• 如今，硅光子神经网络线路利用相干光诠释了矩阵向量积的奇异值矩

  阵分解的应用。【Deep learning with nanophotonic circuits Shen et

  al., 2017】其中，在硅片上制造的MZI实现了纳米级尺度的乘法。 这个

  设计呈现了一个真正并行的应用，也是光学神经网络中一个最关键的构建

  模块，现在可以很容易地大规模制造这种类型的光子系统。

• 但是这样的设计会带来一个问题，即MZI的数量随着向量中元素N的数量而以N2增长，这是实现任意矩阵的必要结果。那么随着光子电路尺寸的增大，损耗、噪声和缺陷也成为更大的问题。 因此，越来越难以构建一个足够精确的模型来在计算机上训练它。 克服这一困难的方法包括设计对缺陷具有鲁棒性的线路、自动“完善”线路或在原位训练光子神经形态线路。
• Feldmann等人提出基于MZI的MACS的替代方案，引入了一种基于相变材料(PCM)【High-bandwidth photonic neurosynaptic network Feldman et al., 2019】的全光神经突触网络。 在本设计中，PCM单元实现了线性层的加权，还与环形谐振器耦合实现了类似于整流线性单元(ReLU)的非线性激活函数。 Tait等人还使用了微环重量库，实现递归硅光子神经网络。
• 注：
• Activation function: 在神经网络中，一个节点的激活函数定义了给定一个或一组输入时该节点的输出。

  

• ReLU activation: f(x) = x+ = max(0,x)
• 将全光非线性特性纳入光子电路是真正的光子深度神经网络的关键之一。 然而，在低光信号强度下有效地实现光子非线性激活函数的问题是20世纪90年代对ONNs兴趣减弱的主要原因之一。
• 过去十年，解决方案有基于全光微环谐振器的非线性thresholders、saturable absorbers、电吸收调制器或者说混合电光方案，是在不久的将来克服这一问题的可能解决方案。

总的来说

• 当考虑处理器大小、矢量长度很大和低精度操作时，与电子实现相比，光子电路在这些度量中表现出一定优势。
• 今天的电子计算平台提供可编程性、成熟和高产的大规模制造技术、3D实现的机会、内置信号恢复和增益以及稳健的内存解决方案。 此外，现代数字电子系统提供了高精度，当今的光子系统是无法实现的。
• 有时人工智能系统不需要高精度，特别是当用于推理任务时。一个似乎特别适合光学和光子处理的方向是具有非相干光的光学推理，在环境照明条件下快速处理场景信息。可以广泛应用于自主车辆、机器人和计算机视觉等领域。

三、利用自由空间，光学透镜和复杂介质进行计算

**光子线路的另一种选择是直接在通过自由空间或某些介质传播的光场上建立计算能力。

**

• a 在自由空间中的传播是用波场与复值核的卷积来描述的，这种操作代表了卷积神经网络(CNNs)的基本组成部分之一，其中CNNs是大多数视觉计算应用程序选择的神经网络体系结构。

  

  注：
• 在图像处理中，卷积(convolution)是指将图像的每个元素添加到其局部邻域中的过程，并由核(kernel)加权。

  

  

• 卷积后输出的矩阵的尺寸计算公式是：

  Output matrix size = image size — kernel size +1

• 卷积后会导致边缘信息减少，甚至会带来额外的噪声。
• b 光场与薄散射层的相互作用对应于与对角线矩阵的内积。

  

• c 一个通过多个具有间距的薄散射体传播的场是对角矩阵和卷积矩阵的级联。

  

• d 厚散射体可以实现致密的伪随机矩阵，其结构对应于散射介质的物理性质。

  因此，我们可以根据实际需求设计卷积核。这可以用傅里叶光学来实现，其中光学装置的特定透镜配置将物理正或逆傅里叶变换应用于波场。 因此，我们可以使用透镜和其他光学元件以光速将图像的波场与任意卷积核卷积。

  

• g 一个密集的矩阵向量乘法，将一维输入场映射到一维输出场，可以用4f型系统实现。 当振幅项最相关时，复值矩阵以红色编码，当相位项占主导地位时，则以蓝色编码。

  

• 然而，傅里叶光学方法的还有问题需要解决包括难以实现光学非线性激活函数和相对于光子电路的大器件组成因子。
• 光在密集、复杂介质中的传播在许多情况下类似于将输入场与随机矩阵混合。
• 在这种方法中，每个输出像素都是输入的随机投影。 这种方法还保留了大量的信息，允许在深度上检索一些功能信号，而不需要成像，神经科学可能对此特别有趣。 该方法还可以训练神经网络，如通过多模光纤成像或通过薄或厚散射介质成像所证明的那样。
• 此外，还发现复杂介质本身可以看作是神经网络的光学实现：连接权值是随机矩阵的系数，非线性是摄像机检测过程中对强度的转换，允许直接分类而不成像。 这种光传播的数学重新计算可以为光学计算开辟非常有趣的研究途径，特别是在任何使用大规模随机矩阵乘法的计算问题中，包括在reservoir computing、相位检索和计算成像中。
• 注：reservoir computing是发源于递归神经网络(recurrent neural network, RNN)的一种计算框架，它的一个神奇之处在于，中间层的reservoir矩阵是随机生成的且生成后就保持不变，真正需要训练的只有输出层，这也使它比传统的方法快很多。

  

四、利用深度计算光学与成像的Inference

• 光学工程师可以自由设计具有特定扩展功能(PSFs)的相机镜头，利用光谱选择性光学滤波器设计传感器像素的光谱灵敏度，或选择其他属性。 然而，开发特定于应用程序的成像系统的问题是如何最好地设计这些设备并利用这些工程能力
• 在这种背景下，可以将相机理解为编码器-解码器系统，将相机设计问题作为光学和成像处理的端到端优化来处理(见下图)。

  

• 这样的“深度”计算相机可以在线下阶段进行训练，以优化高级损失函数(loss function)的性能，如图像分类或目标检测。 与传统的计算机视觉方法相似，这种训练过程优化了神经网络的权重或者其他可微算法的参数。
• 我们的编解码器解析允许高级别损失函数的误差一路反向传播（反向传播算法更新参数）到相机的物理参数中。 因此，物理透镜和深度神经网络可以联合优化特定任务，如损失函数和训练数据集所定义的(见下图)。

  

• 一旦优化，物理层（在本例中，透镜）可以被制作并用于执行推理任务，例如比传统的数字层更稳定、更快或使用更少的功率对捕获的图像进行分类。 我们将这种光学和图像处理的端到端优化称为’deep optics’。
• 还可以将光学操作原理解释为一种计算类型，即作为一个预处理器或协同处理器，与处理记录数据的电子平台一起工作。换句话说我们让光学做尽可能多的工作，以优化计算成像系统的延迟和功率需求。
• 前面也说到，一个迫切的难题是在光学中实现非线性激活层的困难，要求该层在摄像机捕获的低光强度和宽带宽的非相干光下能够有效工作。

  

图源： Martel, J. N. P., Muller, L. K., Carey, S., Dudek, P. & Wetzstein, G. Neural sensors: learning pixel exposures for HDR

imaging and video compressive sensing with programmable sensors. IEEE Trans. Pattern Anal. Mach. Intell. 42, 1642–1653 (2020).

五、在光学显微镜上的应用

• 基于深度学习的数据驱动方法为解决光学显微镜中的逆问题提供了一种方案。 经过一次性的训练，DNN可以提供一个非常快的框架来执行图像重建和增强任务，而不需要任何迭代、参数调优或物理前向模型。

  

• 在显微镜领域，AI已经被证明可以应用，如未标记组织的虚拟组织学染色。
• 使用Deep-Z算法对荧光显微镜图像进行三维虚拟重聚焦，而不是用适当聚焦的广域显微镜捕获的地面真相扫描。

  

  

  

  

六、讨论

• 混合光学计算系统被认为是这一领域最有前途的方向之一。 混合系统将光计算的带宽和速度与电子计算的灵活性结合起来，并可以在模拟和数字光/光电/电子系统中开发一个共同的节能技术基础。 将人工智能推理应用于计算机视觉、机器人、显微镜和其他视觉计算任务中。
• 一些最具挑战性的问题，包括全光非线性、大型光子网络的可靠控制、电光转换效率和可编程性。 在可预见的未来，开发通用光学计算系统可能仍然具有挑战性。