ARM中国：周易NPU加速算力升级 推动端侧AI应用发展

  ICC讯 近日，在第12届中国硬科技产业链创新趋势峰会上，ARM CHINA产品总监鲍敏祺发表《端侧AI应用芯片机遇，NPU加速终端算力升级》主题报告，AI端则的生态发展并介绍“周易”NPU IP产品，对接并满足多样化端侧硬件设备的不同AI计算需求。

  端侧AI新机遇指的是最新AIGC大模型带来算力的提升，端侧AI应用也在算力加持下不断发展壮大。在AI经典应用中，已经可以通过手机拍摄可以识别物体类型，在短信提取关键信息和总结给用户，又例如在图片库搜索中，通过AI大模型快速理解，迅速识别所需要的图片。总体而言就是利用AI加速人们的办事效率，并且AI获得了公众号的认可。这一切依赖于AI硬件侧的性能支撑。

  过去，云计算应用成为数据中心增长的主要驱动力，而现在AI大模型训练和推理正在驱动智算中心规模的发展。AI端侧的算力是否会像云端一样不停地膨胀？鲍敏祺认为低于100亿参数的大预言模型将会成为主流模型，事实上因为带宽制约，10亿至30亿参数是普遍在端侧和现有带宽下能够部署出来的大模型，并且容量优化有很大的增强空间。当然，70亿参数模型会面临显著的带宽压力，但在高带宽场景下也能够成功部署。

  站在应用端客户来看，头部终端厂商如谷歌、微软、苹果等引领了推动端侧AI的发展，中国厂商如华为、OPPO、小米等也在其消费电子产品和具体业务场景上部署AI应用。芯片厂商一致认为AI NPU（神经网络处理单元）将是未来消费类电子产品发展的重点。NPU通过专门优化的硬件架构，能够大幅提升端侧设备的AI计算能力，同时降低功耗。

  30-700亿并行参数大模型如何接入硬件设备，AI硬件侧面临的挑战主要时哪些？鲍敏祺总结为成本、功耗和生态，其中成本主要来自于存储、带宽限制和算力，尤其是一个SOC的整体面效，因为很多端侧设备对芯片面积的预算会高度吃紧，包括算力资源。功耗需要考虑功耗预算的设置， AI很多程度上是来源于数据的搬运，特别用于外层的搬运，因此功耗cost会越来越高，而生态包括了软件成熟度，因为语言模型需要不断迭代优化才能抓住最重要的目标客户，这又带来另一个挑战，就是软件和工具需要更多优化和支持。

  NPU就是端则AI不断迭代优化的关键硬件，ARM自研的“周易”NPU针对于AI硬件侧挑战做了哪些事情？一是微架构的升级，从计算能力上对它进行优化。当前阶段它保留了一部分CNN的能力，同时对Transformer进行升级，而Transformer的engine需要更强的softmax算力。二是Efficiency数据本地化，非本地化会带来额外的能耗。周易NPU从算法上、从工具链上能够实现低精度量化，同时从硬件上对于低精度计算做更多的硬件加速。其次是compression无损压缩以增加有效的带宽。

  因为周易NPU针对于大模型做一些总线带宽的扩展。特别是解码架构场景的算力要求并不高，但是对于带宽要求却很高。出于这种考量，In-NPU interconnection对于整个interconnect单核往外的带宽能力有很大的提升。三是并行处理，包括数据并行和模型并行，在并行运作时贡献weight参数和减少我的数据搬运，实现负载均衡。

  鲍敏祺介绍了周易NPU架构，包含task schedule manager（任务日程管理器）、Optional on Chip SRAM、DRAM和CPU，未来的端侧AI是一种多任务场景，需要一个高效的scheduler并行股那里和具有可扩展能力的核心。针对算法的特殊需求，可以在整个外部SOC上增加SRAM。更重要的是NPU异构策略，即独立端到端地去执行AI任务，并且自由裁减8T或10T的场景，与同构策略形成鲜明的不同。NPU异构在端侧场景上还可以实现power gating或低功耗，即专注于某一种计算时，将其他不必要的功耗降至最低，若是所有应用采用这种处理方式，就可以将端侧功耗降下来。ARM NPU已经针对汽车、AI加速器、AIoT等场景进行了相应的实践，实现了显著的算力提升和功耗降低。

  下一代周易NPU将面向AI生态进行优化升级，目前已经针对Wenxin、Llama、GPT等模型做了相关部署。在边缘计算上，面向PAD、PC、Mobile等各类场景推出相应产品或适配。在汽车应用上，无论是IVI或是ADAS都可以根据实际场景算力需求和模型需求，提供最高至320tops的算力能力。