硅基光电子芯片可以减轻人工智能训练所需的碳排放

电路训练：硅基光电子处理器为更有效的神经网络片上训练铺平道路。图片来源：乔治华盛顿大学/昆士兰大学。

  使用深度学习算法，训练大量的数据可以产生迷人的结果。这方面的例子包括Generative Pre-trained Transformer 3（简称GPT-3）-- 这是目前世界上最强大的自动回归语言模型。但是，这些巨大的人工智能（AI）处理所需的算力开销和能源开销，已经引发了人们对人工智能的碳排放的关注。

  坦白讲，人工智能的好处是巨大的。GPT-3可以看作为文本自动完成的类固醇。在输入普通语言后，深度学习模型可以将这些人类可读的指令变成计算机代码。微软从开发商OpenAI那里获得了GPT-3的授权，正在其所谓的 "Power Apps "中使用这一提高生产力的功能。通过利用人工智能，该软件允许用户在没有或很少有编码经验的情况下实现计算机编程结果。

  时间和金钱

  今年早些时候，OpenAI宣布了新的GPT-3功能，不仅能够完成一个未完成的句子，而且使得重写一个现有段落或重构几行代码成为现实。但是要达到这一点，需要大量的计算处理能力。据报道，GPT-3的1750亿个参数模型，需要3.14E23 FLOPS的计算来进行训练。

  兰姆达实验室（Lambda Labs，一家云服务提供商）的Chuan Li写道，采用理论上28 TFLOPS的算力运行NVIDIA Tesla V100云实例， 即便他的团队能找到最低三年保留的云价格，一次训练运行将需要355个GPU-年，花费约460万美元。这凸显了最先进的深度学习模型所需的大致数字，并使我们回到了对人工智能的碳排放的关注，因为巨大的GPU的功率需求。

  人们对COP27气候会议记忆犹新，能源密集型业务再次受到关注。用清洁能源为云计算供电是一个答案，但这需要协调，以确保处理过程与可再生电力的可用性相吻合。但即使这样也不能解决所有的问题。

  硅基光电子集成电路

  还有一个问题是，高昂的成本限制了这些大规模人工智能模型的开发，只有少数几个财大气粗的公司能够做到。幸运的是，一种新兴的计算架构可以在多个方面改变现状-- 它不仅利用电子，还利用光子。

  在过去的十年里，芯片设计者在硅基光电子学领域取得了巨大的进展，它利用硅基光电子集成电路的制造优势，设计了一系列基于光的操作。硅基光电子集成电路（PIC）提供低延迟、高带宽和固有的并行处理（使用光复用）。

  此前，PIC芯片已被证明能够进行推理（使用现有算法从新数据中推断出特征）。但人工智能模型本身仍然必须以传统的、能源密集型的方式进行离线训练。现在，美国和加拿大的研究人员提出了一个PIC概念，可以同时做到这两点 -- 在最新一期的《Optica》杂志上报告了他们的结果。

  该团队认为，其新颖的硬件将加快机器学习系统的训练，并利用光子学和电子芯片所能提供的最好的东西。该小组一直在努力构建光子版本的张量核心（在完成标准人工智能相关操作方面优于GPU的处理器）。而这一最新突破是这一更大努力的一部分。

  从纸面上看，具有高带宽信息处理特性的低功耗光子技术很适合减少人工智能的碳排放。但当涉及到训练深度学习模型时，"回传步骤" -- 即调整模型权重以便更准确地概括数据所表现出的特征 -- 使事情变得缓慢，因为网络层必须按顺序更新。

  多通道改进

  为了解决这个问题，研究人员采取了另一种被称为直接反馈对准（DFA）的方法，允许网络并行更新。"在回传过程中，来自网络推理步骤的误差被编码在多通道光学输入上"，作者在论文中解释道，"然后光电电路计算每个隐藏层的梯度矢量，使用一个外部数字控制系统，来更新存储在内存中的网络参数。"

  当使用PIC芯片而不是纯数字电子器件时，另一个潜在的障碍是模拟电路所固有的噪音。然而，神经网络在推理和训练过程中对噪声具有鲁棒性（这也是其广泛成功的原因之一）。此外，由于DFA，噪音不会在网络层之间积累，否则就会出现这种情况。在回传过程中，作为训练过程的一部分，误差从输出端通过每个隐藏层（人工智能算法的内部运作）步入。

  "人工智能系统的训练要花费大量的能源和碳排放。参与研究的机构之一、乔治华盛顿大学的沃尔克-索尔格强调说："例如，一个人工智能变压器所耗费的电力中的二氧化碳约为一辆汽油车在其一生中花费的五倍"。而这个团队包括来自皇后大学、英属哥伦比亚大学和普林斯顿大学的研究人员，他们希望采用硅基光电子芯片的培训将有助于减少这种开销。

  为了探索硅基光电子技术在商业环境中的机会，Sorger与Hamed Dalir一起成立了一家名为Optelligence的新公司。该公司的总部设在德克萨斯州奥斯汀市，并在弗吉尼亚州的阿什本设有制造厂。

  逍遥科技| 编译自 T_HQ technology and business