阿里含光800 AI处理器如同神兵利箭般高调亮相其在三大关键场景中的落地性能宛若猛虎下山以惊人的4-
在2019年的云栖大会上,阿里巴巴集团首席技术官兼阿里云智能总裁张建锋隆重介绍了公司的首款AI芯片——含光800,这款当时最强大的AI推理芯片的发布,不仅震惊了科技界,也让人瞩目的高调亮相。
一年之后,在2023年的一次线上云栖论坛中,阿里云异构计算产品研发总监龙欣详细分享了含光800推出后的最新进展。他表示,含光800 NPU实例已经正式对外服务,不需要白名单就可以在阿里云实例上购买。该实例支持8核NPU和96核vCPU、384G内存以及网络带宽最高达到30Gbit/s,主要面向数据中心的CNN类型模型推理加速,其业务包括城市大脑、图像视频审核和拍立淘等。
更引人关注的是,尽管含光800尚未对外发售,但其性能通过阿里云输出,并且展示出了令人瞩目的应用表现。在具体场景中,比如城市大脑中的实时交通视频处理、拍立淘商品库图片搜索等,它都显示出了4-11倍性能提升。
作为一款自研芯片,含光800在硬件方面有三个特点:深度优化CNN及视觉类算法,加速卷积和矩阵乘,以及针对ResNet-50、SSD/DSSD、Faster-RCNN、Mask-RCNN等模型进行优化。此外,它还具有高能效、高密度计算与存储、高效软件支持权重稀疏压缩以及指令集支持可编程模型扩展能力。
至于实际应用情况,上述三大场景分别为行人检测应用、中车辆检测应用以及内容识别应用(ResNet50 V2模型)所示,其中每个场景都体现出了包含GPU相比之下4-11倍的性能提升。例如,在行人检测中,可支撑100路视频;在车辆检测中,可支撑85路视频;而对于Inception V4模型的处理帧率,则达到了5000 FPS,对比主流推理GPU为460FPS,有着10.8倍的性能加速比。此外,还有直播和点播HDR领域,如直播增强到500 FPS,与主流GPU相比是10倍快,而点播HDR则实现6.6倍性能加速比。
尽管此次分享没有提供丰富多彩的情境描述,但它仍然揭示了一种可能性,那就是随着时间的推移,我们将看到更多关于这款芯片如何被融入日常生活中的故事。