智能无处不在安谋科技UWB芯片与周易NPU合创开启端侧AI新时代的人物应用
在科技的光芒照耀下,一个巨大的模型从云端的殿堂飞跃到了终端的舞台。这个历史性的跨越,不仅赋予了数据处理以迅捷之翼,更将智能体验推向了前所未有的高度。终端上的大模型以灵动的姿态,即时捕捉并回应着每一个细微的需求,将AI触角延伸至世界每个角落。
近日,在EEVIA主办第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上,安谋科技产品总监鲍敏祺发表精彩主题演讲《端侧AI应用芯机遇,NPU加速终端算力升级》。他深入剖析了端侧AI发展广阔前景,并详细介绍自研NPU最新进展。
AIGC大模型带来的算力提升是端侧AI迎来的最大机遇。鲍敏祺表示,从近期头部大厂发布中都可以看出,端侧AI应用已经得到了业界的一致认可。目前国际国内实际部署主流端侧大模型体量主要集中在100亿参数以下,这一限制主要是由于设备内存带宽范围通常在50-100GB/s之间。
为了满足用户对应用实时性的需求,大型但非极具参数的大型模型最适合于现有带宽条件下。这类模型能够保持高效性能同时提供快速响应和高质量服务。在此背景下,头部终端厂商如OPPO、vivo、小米、荣耀和华为等,都在积极推动该领域发展,他们不仅自研适合部署的大型还将其与具体业务场景紧密结合。而芯片厂商达成共识认为神经网络处理单元(NPU)将成为消费类电子产品未来发展重点。
尽管如此,鲍敏祺强调两者应该实现互补才能产生最大的收益。由于数据处理发生本地化保护用户隐私,同时也能实现实时响应。而云则具备更强推理能力和大规模数据处理能力,可以进行更复杂任务因此结合优势,为用户提供更加全面高效的体验。
从人机交互界面的发展来看,每一次变革都极大提升了用户体验。未来的趋势将是多模态场景,即结合图像音频视频等多种输入方式,使设备能够全面理解用户需求通过观察学习未来系统将更好预测满足期望实现真正智能化。
面临成本功耗生态系统挑战“周易”NPU围绕微架构能效并行处理进行三重升级。
· 微架构:针对Transformer优化克服实际计算瓶颈
· 效率:混合精度量化增加有效带宽
· 并行处理:减少数据搬运
“周易”NPU支持异构计算面对不同场景裁剪算力降低不必要功耗显示其强性能灵活性已在汽车信息娱乐ADAS应用以及AI加速卡及IoT环境展示其潜力累计出货超过40万片成功定点车辆20余款中且能与PC机器人Host AP交互多模态支持复杂环境保持高性能灵活性
最后他表示下一代周易“NPU”继承增强前代特点优势持续优化使之适配当前及未来市场需要