全球芯片强国排行数据揭示领先者
在科技的浪潮中,智能无处不在,安谋科技的“周易”NPU开启了端侧AI新时代。这个时代的到来,不仅改变了数据处理的速度,更将智能体验推向前所未有的高度。
近日,在EEVIA主办的第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上,安谋科技产品总监鲍敏祺发表了精彩的主题演讲《端侧AI应用芯机遇,NPU加速终端算力升级》。他深入剖析了端侧AI发展的广阔前景,并详细介绍了安谋科技自研NPU的最新进展。
AIGC大模型带来的算力提升是端侧AI迎来的最大机遇。鲍敏祺表示,从近期头部大厂发布中都可以看出,端侧AI已经得到了业界的一致认可。
当前国际和国内实际部署主流端侧大模型体量主要集中在100亿参数以下。这一限制主要是由于设备内存带宽范围通常在50-100GB/s之间。而为了满足用户对应用实时性的需求,大型企业如OPPO、vivo、小米、荣耀和华为等,都在积极推动端侧AI发展,并将其与具体业务场景紧密结合。芯片厂商也达成了共识,将神经网络处理单元(NPU)作为未来消费类电子产品发展重点。
尽管如此,这并不意味着要彻底放弃云端AI。相反,他认为两者应该实现互补,以产生最大的收益。此外,大模型以灵动姿态,即时捕捉并回应每一个细微需求,将触角延伸至世界每一个角落,为用户提供更加全面和高效的人工智能体验。
面对成本、功耗和生态系统方面挑战,“周易”NPU围绕微架构、能效和并行处理进行三重升级:
· 微架构:针对CNN与Transformer差异性优化。
· 效率:混合精度量化以及数据压缩技术。
· 并行处理:采用数据或模型并行减少数据搬运。
此外,“周易”还支持异构计算,对于不同应用场景能够灵活裁剪算力,并降低不必要功耗。在多个关键领域展示性能,如汽车应用、中台加速卡及IoT场景中,其灵活性得到充分验证。
下一代周易“NPU”计划继承现有优势,同时持续优化精度、带宽调度管理以及算子支持等多个方面,使其适配当前及未来市场需求。在这些努力之下,我们预见到“周易”的影响将不断扩张,为全球各地从事人工智能研究开发工作的人们提供更多可能性,而这一切都是基于追求更好的技术解决方案而进行的一系列探索与创新过程中的成果。