阿里含光800 AI处理器犹如神话中的铁血巨人在芯片排名前十的巅峰之上以其卓越的性能将GPU置于脚下
在2019年的云栖大会上,阿里巴巴集团首席技术官兼阿里云智能总裁张建锋隆重发布了公司的首款AI芯片——含光800,这款当时最强大的AI推理芯片的问世,让人瞩目。
一年后的今天,在一次线上论坛中,阿里云异构计算产品研发总监龙欣详细介绍了含光800推出的近一年的发展情况。据他透露,含光800 NPU实例已经正式对外服务,无需白名单即可在阿里云实例上购买,以ebman1.24xlarge命名,该实例支持最高8核NPU和96核vCPU、384G内存,以及网络带宽高达30Gbit/s,主要面向数据中心的CNN类型模型推理加速,应用于城市大脑、图像视频审核以及拍立淘等领域。
更令人振奋的是,尽管含光800尚未对外销售,其性能通过阿里云输出已引起广泛关注。据雷锋网去年报道,科技巨头自研芯片是为了满足内部大量数据驱动的AI需求,以提升效率和性价比。此次分享中,龙欣提到阿里巴巴内部有众多AI应用场景,如电商应用、视觉应用、语音交互和自然语言理解等,其中拍立淘作为一个典型案例,它需要处理成千上万用户每天产生的大量图片搜索与匹配任务,因此对强大的AI能力有着极高要求。
含光800以其深度优化CNN及视觉类算法、高能效低延时、高密度计算与存储以及软硬协同支持权重稀疏压缩等特点,为这些场景提供了卓越的性能。在ResNet-50测试中,其推理性能达到78563 IPS,比目前业界最好的AI芯片性能高4倍;能效比500 IPS/W,是第二名的3.3倍。
然而,在昨天的分享中并没有公开具体峰值性能,而是强调其可用性。龙欣指出,“包含但不限于GPU”在三大AI应用中的表现,由此可以看出它在行人检测(100路视频)、车辆检测(85路视频)以及内容识别(20000 FPS ResNet50 V2模型)等方面都显示出了明显优势,即使是在直播视频增强(500 FPS)和点播HDR(66 FPS)的场景下,也能够实现显著提升。
尽管今年关于含光800的话题并不如去年那么火热,但这反映出了一种谨慎态度,同时也表明即便拥有强大的团队设计新一代芯片,大规模落地仍然是一项艰巨任务。这也意味着软件对于这个过程而言扮演了更加直接作用,并且获得客户认可与采用依旧充满挑战。而对于未来 阿里的下一代AI芯片何时问世,则还需要观望更多信息。