数据驱动的芯片革命智能终端与服务器之间的差异解析
在科技进步的推动下，智能无处不在，AI技术正逐渐渗透到我们的生活中。安谋科技自研的“周易”NPU（神经网络处理单元）作为端侧AI新时代的开启者，不仅提升了终端设备的算力，还为用户带来了更加贴心和高效的服务体验。
近日，在EEVIA主办的一次重要论坛上，安谋科技产品总监鲍敏祺发表了关于NPU加速终端算力升级的话题演讲。在他的深入剖析中，我们了解到了端侧AI发展中的广阔前景以及安谋科技如何通过自研NPU来应对成本、功耗和生态系统等挑战。
首先，鲍敏祺指出当前国际和国内实际部署的大模型体量主要集中在100亿参数以下，这是由于现有设备内存带宽限制所致。为了满足用户对应用实时性的需求，大型头部厂商如OPPO、vivo、小米、荣耀和华为等，都在积极推动10-30亿参数的大模型应用，同时将其与具体业务场景紧密结合。芯片厂商则达成了共识，将AI NPU定位为未来消费类电子产品发展重点。
然而，这并不意味着要彻底放弃云端AI。相反，两者应该实现互补，以产生最大的收益。鲍敏祺强调，虽然云端AI具备更强的推理能力，但由于数据处理发生在设备本地，可以提供更好的隐私保护及实时响应。而结合两者的优势，将为用户提供更加全面、高效的人机交互体验。
面对硬件设备带来的三重挑战——成本、功耗和生态系统——安谋科技自研“周易”NPU进行了三重升级：
微架构：针对Transformer进行优化，并保留CNN能力。
效率：混合精度量化，以及数据压缩和改变稀疏度。
并行处理：采用数据并行或模型并行减少数据搬运。
此外，“周易”NPU还支持异构计算，为不同应用场景灵活裁剪算力，并降低不必要功耗。此技术已经在汽车应用、中小型企业使用以及其他多个关键领域展示了其性能和灵活性。
未来，“周易”NPU将继续继承并显著增强前代产品特点，如精度、带宽管理等，并适配各种存储介质以满足市场需求。这一不断优化过程，将使得“周易”NPU成为未来的标准配置之一，为更多行业提供可靠且高效的人工智能解决方案。
