IBM实验室：集成光子神经网络的新机遇

  近日，来自瑞士苏黎世IBM研究中心的Bert Jan Offrein等人在Nanophotonics期刊上发表综述：评述了集成光学解决方案在加速推理和人工神经网络训练方面的前景。

  计算突触功能，在计算上是非常昂贵的，并且不能很好的在先进的计算平台上规模化。利用集成光学器件的线性和非线性来进行模拟信号处理，可以大幅度提高这些人工智能工作负载的性能和功率效率。集成光子学的高速运行能力为时间实时应用提供了机会，而芯片级集成为制造和封装成本效益的铺平了道路。

  集成光学器件为神经形态计算提供了一些性能优势，如：形状因素、可制造性、成本、机械稳定性和可高速调制。

  集成光子神经网络有哪些新机遇?

  一、集成光子学RC系统

  储备池计算(reservoir computing，RC)是其中一种非常适合顺序数据处理的计算概念(图2)。输入数据流被耦合到一个库，它由递归链接的神经元组成。输入信号和存储信号之间以及存储信号内部的突触连接是随机分配并保持固定的。因此RC系统构成了一种特殊类型的递归神经网络(RNN)。

图2. 储备池计算方法

图源：Nanophotonics / 图译：Fortuner(撰稿人)

  为了避免信号在库中的指数增长，对库中的权值进行了缩放，使系统满足回波状态特性。在训练过程中，只学习输出层的权值。

  RC系统因其相比于一般的RNNs大大简化了训练而引起人们的兴趣。虽然简单的训练方法仍然是有益的，但在过去的几年里，深度学习方法取得了巨大的进步，使得RNNs在RC系统难以解决的复杂任务上得到了非常有效的应用。然而，RC对于神经形态系统仍然是一个有趣的概念，因为固定权重很好的映射到各种冯诺依曼器件的实现。

  从电子到光学，机械以及生物，作者对块体，光纤以及集成光子RC系统进行了详细的研究。在本文，作者对集成系统进行概述。

  集成光子存储系统，它的一些早期概念是围绕半导体光放大器(SOAs)所开展的。每个SOAs由于其功率饱和行为展现了一个光学非线性的性质，并具有丰富的内部动态行为。改进的体系结构在各种任务的数值模拟中展现出比传统软件更佳的性能。然而，由于SOA的功耗较大，因此这些网络的功率效率有限。

  多年来，研究人员对架构进行了各种改进，通过向多个节点注入输入信号，优化输入方案，实现了更好的网络功率分配(图3)。然而，储层内的非线性，在电子域内检测和加权输出信号所带来的带宽限制和延迟，以及并行操作所需的大量光电探测器，将极大的限制这些系统的实际适用性。

图3. 两种集成的光子储层计算架构

图源：Nanophotonics / 图译：Fortuner(撰稿人 )

  二、用于神经网络训练的集成光子设备

  集成光学技术的第二个令人兴奋的机会与人工神经网络训练有关，建立一个增强的神经网络训练技术平台是非常重要的。最近的出版物显示了当今技术在神经网络训练中的巨大环境进展。

  优化光子神经网络的训练有两种基本方法：1. 训练方法适应匹配系统兼容性。2. 在一般的训练方法中，如随机梯度和反向传播的运算是通过光硬件来加速的。

  将两个神经层间突触连接的推理计算扩展到一个技术平台，其中反向传播和权值更新步骤也通过光信号处理以完全并行的方式进行。

  在基于马赫-曾德尔干涉计的向量矩阵乘法概念中，矩阵元素值由外部子系统设置。因此，在优化过程中改变这些值将需要信号从神经网络输出流到控制系统。针对这种结构人们提出了一种支持反向传播算法的训练算法。

  它基于在该器件中进行强度测量并存储所获得的值以供后续步骤处理。该通信路径仍然会带来信息流瓶颈，从而限制了训练算法的性能和功耗。需要一种局部权值更新机制，直接在网络中获取信号。

  为了训练前馈的DNN，可以使用随机梯度下降和反向传播，作者对反向传播算法的训练方法步骤进行了总结，以帮助读者理解随后提出的光信号处理器的优点：步骤1：用目标响应tk正向传播训练输入样本xk，并存储相应输出y。步骤 2：对于每个训练样本，使用一个损耗函数计算目标输出和获得的输出之间的损失。通常，平方误差用作损耗函数。步骤3：对于每一个训练样本，找到错误信号，错误信号代表在一个神经元上的输入对总损耗的影响有多大。这种误差信号可以通过权值矩阵转置后通过网络向后传播，并使用激活函数的导数来获得。步骤4：利用(步骤3)中得到的误差信号，更新权重使损耗最小化。

  最后，反复重复(1-4)的步骤，直到损耗达到最小值。

图4. 利用具有两层隐含层的前馈神经网络进行前向和后向传播，用于网络权重训练。

图源：Nanophotonics/图译：Fortuner(撰稿人 )

  早在20世纪90年代，一个光子系统就已经被证明，在这个系统中，加权元素被存储在一个光折变材料的体材料中。MAC操作是通过两束光折变晶体中形成的折射率光栅的衍射效率来实现的。图5描述了单个权重和两个突出权重的形成和工作原理。

图5. 权重的形成和工作原理

图源：Nanophotonics

  硅光子学的可用性和像钛酸钡，Ⅲ-Ⅴ族薄层材料等材料的整合性为实现模拟芯片级光子突触处理单元提供了机会。作者展示了一个基于光折变效应实现神经网络操作的器件布局(图6)。

  图6. 用于推理和训练的集成光子突触处理器的示意图

  图源：Nanophotonics / 图译：Fortuner(撰稿人)

  将一薄层光折边材料键合在硅光芯片上。电光调制器将电输入矢量转换为光束所需的功率和相位。探测器阵列将矢量矩阵输出信号转换回电域。

  从本质上讲，光折变效果可以很好地控制和调整权重值。这对于有效的训练很重要，为定期更新矩阵元素的模拟矢量矩阵乘法提供了机会。

  总结

  神经形态计算技术催生的光子发展在带宽、处理速度和可控性方面展现了出色特性。集成光子学在神经网络推理和训练中的潜力巨大。训练人工神经网络的新概念等仍旧需要进一步的技术发展。将光子神经形态计算的结果与其他平台技术进行比较，这对于将研究工作导向最有前景的应用是很重要的。

  文章信息

  Pascal Stark, Folkert Horst, Roger Dangel, Jonas Weiss，Bert Jan Offrein，Opportunities for integrated photonic neural networks，Nanophotonics 2020; 9(13): 4221–4232

  文章地址

  https://doi.org/10.1515/nanoph-2020-0297

  来源|中国光学(ChineseOptics)

  撰稿|Fortuner(西湖大学 博士生)