北斗智航安谋科技周易NPU引领端侧AI新纪元
在科技的光芒中，大模型从云端的殿堂轻盈跃至终端的舞台。这一历史性的飞跃，不仅赋予了数据处理以迅捷之翼，更将智能体验推向了前所未有的高度。终端上的大模型以灵动的姿态，即时捕捉并回应着每一个细微的需求，将AI的触角延伸至世界的每一个角落。
近日，在EEVIA主办的大型硬科技产业链创新趋势峰会暨百家媒体论坛上，安谋科技产品总监鲍敏祺发表了主题演讲《NPU加速终端算力升级：端侧AI应用芯机遇》。他深入探讨了端侧AI发展广阔前景，并详细介绍了安谋科技自研NPU最新进展。
随着AIGC大模型带来的算力提升，国际和国内头部企业纷纷推出适合端侧部署的大模型，这标志着端侧AI迎来了新的机遇。为了满足用户对应用实时性的需求，10-30亿参数的大模型最适合在现有带宽条件下进行部署，这些模型既能保持高效性能，又能提供快速响应和高质量服务。
头部厂商如OPPO、vivo、小米、荣耀和华为等积极推动端侧AI发展，他们不仅自研适合部署的大模型，还将其与具体业务场景紧密结合。芯片厂商认为，神经网络处理单元（NPU）将是未来消费类电子产品发展重点。通过专门优化硬件架构，NPU能够显著提升设备AI计算能力，同时降低功耗。
尽管如此，鲍敏祺强调两者应该实现互补，以产生最大收益。在接下来的趋势中，将会出现多模态场景，即结合图像、音频、视频等多种输入方式，使设备能够更全面地理解用户需求。此外，以三重升级应对三重挑战：成本、功耗和生态系统。
针对这些挑战，“周易”NPU围绕微架构、能效和并行处理等方面进行了一系列升级：
微架构：针对Transformer进行优化。
效率：混合精度量化及无损压缩。
并行处理：采用数据或模型并行减少数据搬运。
下一代“周易”NPU不仅包含Task Schedule Manager，而且具备可扩展性，并增加DRAM匹配OCM支持特殊算法。此外，它特别强调异构计算对于SoC面积角度下的最佳选择，对于不同的应用场景可以灵活裁剪算力，并降低不必要功耗。
“周易”NPU已经在汽车应用、中高性能AI加速卡以及各类智能物联网设备中展示其强大的性能与灵活性。在ADAS应用中，由于不同场景不同算力需求，“周易”NPU可根据需要裁剪出所需算力。而搭载“周易”NPU芯片的人工智能加速卡已累计出货超过40万片，在吉利旗下的领克车型成功定点使用。此外，“周易”还使得各种类型主机AP之间能够高效交互，以及保证高度安全性，为多个复杂数据环境中的工作提供持续支持。
