在目前中国芯片技术的浪潮中安谋科技的周易NPU如何开启端侧AI新时代
在科技的光芒下，端侧大模型悄然从云端走向终端。这场历史性的迁移，不仅赋予了数据处理以迅捷之翼，更将智能体验推至前所未有的巅峰。终端上的大模型，以灵动姿态，即时捕捉并回应着每一个细微需求，将AI触角延伸至世界每个角落。
近日，在EEVIA主办的第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上，安谋科技产品总监鲍敏祺发表主题演讲《NPU加速终端算力升级：探索端侧AI芯机遇》。他深入剖析了端侧AI发展广阔前景，并详细介绍自研NPU最新进展。
AIGC大模型带来算力提升，是端侧AI迎来的最大机遇。在头部厂商如OPPO、vivo、小米、荣耀和华为等积极推动中，大型企业与芯片厂商达成了共识，认为神经网络处理单元（NPU）将是未来消费类电子产品发展重点。通过专门优化硬件架构，能显著提升计算能力同时降低功耗。
尽管发展势头强劲，但鲍敏祺强调两者应该实现互补，以产生最大收益。由于数据本地化带来的安全性和实时响应能力，使得用户隐私得到更好保护，同时也能实现快速响应。而云端则具备更强的推理能力和大规模数据处理能力，可以进行复杂任务。因此结合两者的优势，将为用户提供更加全面高效的AI体验。
三重挑战需要三重升级
成本、功耗和生态系统给设备带来了挑战。
针对这些挑战，“周易”NPU围绕微架构、效率并行处理方面进行了升级：
· 微架构：保留CNN基础优化Transformer。
· 效率：混合精度量化int4&fp16，无损压缩改变稀疏度增加有效带宽。
· 并行处理：减少数据搬运使用负载均衡Tiling。
下一代周易“NPU”包含Task Schedule Manager，可扩展性增加DRAM匹配OCM支持特殊算法。
异构计算支持不仅从能效面积角度出发，还包括多个关键领域，如汽车应用、加速卡及AIoT场景展示其性能灵活性。在汽车应用中不同场景对算力的要求不同，而“周易”NPU20~320TOPS范围可裁剪出所需算力已累计40万片成功定点于吉利旗下的领克银河系列及一汽红旗等车型中。在多模态环境保持高性能灵活性适用于智能汽车PC机器人交互以及复杂数据环境保证高度安全成为多个应用场景理想选择。
