智能无处不在安谋科技周易NPU开启端侧AI新时代芯片设计师能干一辈子吗
在科技的光芒照耀下，一个巨大的模型从云端的殿堂飞跃到了终端的舞台。这场历史性的迁移，不仅赋予了数据处理以迅捷的翅膀，也将智能体验推向前所未有的高度。这些大模型以灵动的姿态，在终端上即时捕捉并回应着每一次细微需求，将AI触角延伸至世界每一个角落。
近日，在EEVIA主办的第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上，安谋科技产品总监鲍敏祺发表了一场精彩演讲《端侧AI应用芯机遇，NPU加速终端算力升级》。他深入剖析了端侧AI发展的大好前景，并详细介绍了安谋科技自研NPU最新进展。
鲍敏祺指出，从近期头部大厂发布中都可以看出，端侧AI应用已经得到业界的一致认可。目前国际和国内实际部署主流端侧大模型体量主要集中在100亿参数以下，这一限制主要是由于设备内存带宽范围通常在50-100GB/s之间。在满足用户对应用实时性的需求方面，10-30亿参数的大模型最适合部署于现有带宽条件下，这些模型能够保持高效性能，同时提供快速响应和高质量服务。
头部终端厂商如OPPO、vivo、小米、荣耀和华为等，都在积极推动端侧AI发展，他们不仅自研适合部署的大型数据模型，还将其与具体业务场景紧密结合。芯片制造商也达成共识认为，神经网络处理单元（NPU）将是未来消费类电子产品发展重点。通过专门优化硬件架构，可显著提升设备AI计算能力，同时降低功耗。
尽管如此，大师们强调并不意味着要放弃云计算，而应该实现两者的互补，以产生最大收益。大师们相信，将两者结合起来，可以为用户提供更加全面且高效的智能体验。而多模态场景，即结合图像、音频、视频等多种输入方式，使设备能够更全面地理解用户需求，是未来的趋势之一。
为了应对三重挑战——成本、功耗和生态系统—“周易”NPU围绕微架构、能效以及并行处理进行了三重升级。
· 微架构：针对CNN与Transformer差异性进行优化。
· 效率：混合精度量化，以及无损压缩改变稀疏度增加有效带宽。
· 并行处理：采用数据或模型并行减少数据搬运。
最后，大师们提到，“周易”NPU支持异构计算，无论是从能效还是整个SoC面积角度来看，都是最佳选择。他解释道，对不同的应用场景，可以实现算力的灵活裁剪，并将不必要功耗降到最低。在汽车应用中，“周易”NPU已累计出货超过40万片，并成功定点应用于吉利旗下的领克及银河系列车型中。此外，它还展示了其强大的性能和灵活性，在多个关键领域，如AI加速卡以及AIoT显示出了潜力。
