在购买手机时选择天玑还是骁龙处理器阿里含光800 AI处理器的三大场景应用性能高达4-11倍超越GP
在2019年的杭州云栖大会上,阿里巴巴集团首席技术官兼阿里云智能总裁张建锋简短介绍了阿里的首款AI芯片含光800,这次发布引发了巨大的关注。今年的线上云栖有一个芯片设计发展现状与未来的论坛,阿里云异构计算产品研发总监龙欣分享了含光800推出近一年后的最新进展。
他表示:“含光800 NPU实例已经正式对外服务,不需要白名单就可以在阿里云实例上购买,实例名称是ebman1.24xlarge,最多支持8核NPU和96核vCPU,384G内存,网络带宽最高达到30Gbit/s,主要面向数据中心的CNN类型模型推理加速,业务包括城市大脑,大图像视频审核、拍立淘等。”更引人关注的是含光800在具体应用中的表现。
龙欣强调,含光800的应用主要是在数据中心和大型端上,以CNN类模型推理加速为主,可扩展到其他DNN模型中。目前在具体的应用中相比GPU有4-11倍性能提升。去年给出的数据是,在城市大脑中实时处理杭州主城区交通视频,只需4颗含光800,而传统GPU则需要40颗;拍立淘商品库每天新增10亿商品图片,用传统GPU识别需要1小时,用含光800可缩减至5分钟。
昨天的分享中,还给出了最新数据。在行人检测应用中,一台4核的含光800可以支持100路视频,比主流GPU25路性能提升4倍。在车辆检测中,也是一台4核的含光800,可以支持85路视频,比主流GPU10路性能提升8.5倍。在ResNet50 V2模型中的帧率可达20000 FPS,比主流推理GPU1800 FPS性能提升11倍;Inception V4模型中的处理帧率5000 FPS,比主流推理GPU460FPS性能加速比高10.8倍。
至于直播、点播、短视频等内容识别应用中的ResNet50 V2模型,在直播视频增强方面,一台4核的包含能达到500 FPS,对比主流推理GPU50 FPS,加快速度比为10倍;点播HDR部分,一台同样配置也能实现66 FPS,而英伟达A100仅能做到10 FPS。这意味着6.6倍加快速度比。而对于语音交互、自然语言理解等语言方面,还没有给出具体数字,但这些领域也是涉及到的重要场景之一。