智能无处不在安谋科技周易NPU开启端侧AI新时代中国芯片自主生产能力提升人机交互体验革新
在科技的光芒照耀下,一个巨大的模型从云端的殿堂飞跃到了终端的舞台。这场历史性的迈步,不仅赋予了数据处理以迅捷的翅膀,也将智能体验推向前所未有的高度。终端上的大模型以灵动的姿态,实时捕捉并回应着每一个细微的需求,将AI触角延伸至世界每个角落。
近日,在EEVIA主办的第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上,安谋科技产品总监鲍敏祺发表了主题演讲《端侧AI应用芯机遇,NPU加速终端算力升级》。他深入剖析了端侧AI发展的大广阔前景,并详细介绍了安谋科技自研NPU最新进展。
鲍敏祺指出,从近期头部大厂发布中可以看出,端侧AI应用得到了业界的一致认可。当前国际和国内实际部署主流端侧大模型体量主要集中在100亿参数以下,这一限制主要是由于设备内存带宽范围通常在50-100GB/s之间。
为了满足用户对应用实时性的需求,大型企业如OPPO、vivo、小米、荣耀和华为等,都在积极推动端侧AI发展,他们不仅自研适合部署的大模型,还将其与具体业务场景紧密结合。芯片厂商也达成了共识认为AI NPU(神经网络处理单元)将是未来消费类电子产品发展重点。
尽管如此,鲍敏祺强调两者应该实现互补才能产生最大收益。他认为,将两者的优势结合,将为用户提供更加全面高效的AI体验。从人机交互界面的历史来看,每一次变革都极大提升了用户体验。未来的趋势将是多模态场景,即结合图像、音频视频等多种输入方式,使设备能够更全面地理解用户需求。
针对挑战,如成本功耗生态系统等,“周易”NPU围绕微架构能效并行处理进行三重升级:通过混合精度量化减少算力消耗;采用数据并行或模型并行减少数据搬运;支持异构计算实现灵活裁剪降低无必要功耗。
“周易”NPU已经在汽车应用、AI加速卡以及AIoT场景中展示其性能和灵活性。在汽车应用中,可以根据不同的算力需求裁剪出所需算力;在其他领域同样提供高效且安全的情报支持使其成为理想选择。此外下一代周易“NPU”将继承现有特点同时进行持续优化,以适应现在及未来市场需要。