阿里含光800 AI处理器如同雄鹰般高飞芯片封测龙头股排名前十在三大场景中展现出超凡的性能竟然比GP
在2019年的云栖大会上,阿里巴巴集团首席技术官兼阿里云智能总裁张建锋隆重发布了公司的首款AI芯片——含光800,这款当时最强大的AI推理芯片的问世,让整个科技界为之瞩目。经过一年多的时间,阿里云异构计算产品研发总监龙欣在今年的线上云栖论坛中分享了含光800近一年来的最新进展。
龙欣表示,含光800 NPU实例已经正式对外服务,不需要白名单就可以在阿里云实例上购买。这个实例支持8核NPU和96核vCPU、384G内存以及网络带宽最高达到30Gbit/s,以CNN类型模型推理加速为主要应用场景,面向数据中心中的城市大脑、图像视频审核和拍立淘等业务。
更引人注目的,是含光800在实际应用中的表现。在没有对外发售的情况下,其性能通过阿里云输出。这是因为科技巨头自研芯片是基于大量内部数据驱动,而内部AI需求极高,因此希望通过自研芯片提升效率和性价比。例如,在拍立淘这样的应用中,由于用户日活数千万,要搜索4亿商品图片,并进行个性化推荐,这就需要强大的AI能力。
至于含光800,它具有深度优化CNN及视觉类算法,加快卷积和矩阵乘操作,以及针对ResNet-50、SSD/DSSD、Faster-RCNN等模型优化。此外,还有高能效低延时、高密度计算与存储,以及软硬协同支持权重稀疏压缩等特点,使其特别针对CNN算法设计,但也保持一定灵活性,再匹配全栈软件支持以实现高性价比。
去年张建锋发布时说,在业界标准ResNet-50测试中,含光800推理性能达到了78563 IPS,比目前业界最好的AI芯片性能高4倍;能效比500 IPS/W,是第二名的3.3倍。但是在昨天的分享中并未提及峰值性能,而是强调其可用性,即使作为未公开市场发售的芯片,也能够直接使用。
为了让用户开箱即用,系统支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04,并预装主流深度学习框架,如TensorFlow、MXNet提供示范教程。而且,现在已证实在三大AI应用中的具体场景下,与GPU相比,有4-11倍性能提升。