阿里含光800 AI处理器与门芯片大显身手GPU竞争者在高效场景下被超越
2019年杭州云栖大会上，阿里巴巴集团首席技术官兼阿里云智能总裁张建锋在简短的介绍中推出了阿里的首款AI芯片——含光800。这款当时最强的AI推理芯片的发布不仅引发了巨大的关注，也可谓是高调亮相。今年，在阿里线上云栖举行的一场芯片设计发展现状与未来的论坛，阿里云异构计算产品研发总监龙欣分享了含光800推出近一年后的最新进展。
他表示：“含光800 NPU实例已经正式对外服务，不需要白名单就可以在阿里云实例上购买。实例名称是ebman1.24xlarge，最多支持8核NPU和96核vCPU，384G内存，网络带宽最高达到30Gbit/s。主要面向数据中心的CNN类型模型推理加速，业务包括城市大脑、图像视频审核、拍立淘等。”
更令人关注的是含光800在具体应用中的表现。在去年的文章中，我们提到科技巨头自研芯片，是因为有大量数据，在内部的AI需求推动下，他们希望通过自研芯片来提升效率和性价比。周五的线上分享中，龙欣也指出，阿里巴巴内部有广阔的AI应用，这些应用包括电商应用、视觉应用、语音交互、自然语言理解、机器翻译等。
一个典型案例就是拍立淘，它拥有两千多万日活用户。在使用这项功能的时候，要透过一张图片，在4亿多商品中搜索，在30多亿张图片库中进行匹配，并根据用户习惯进行个性化推荐，这就需要很强的大规模处理能力。
因此，为了提升这种硬件到软件方案上的性价比，加速卷积和矩阵乘，同时支持反卷积、三维卷积以及插值操作，以及针对特定模型如ResNet-50优化；同时提供高能效低延时、高密度计算与存储极大减少I/O需求，以及软硬协同支持权重稀疏压缩和量化压缩指令集支持可编程模型扩展等性能提升措施，都成为了含光800设计之处。
去年发布时，有报道称在业界标准ResNet-50测试中，其性能达到了78563 IPS，比目前业界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名3.3倍之多。不过龙欣昨天并没有提及其峰值性能，而是强调其可用性，他说，“作为并没有在公开市场发售的芯片，由于它未曾真正进入市场，所以我们直接将其输出。”为了让含光800能够开箱即用，系统方面支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04，还预装主流深度学习框架，如TensorFlow和MXNet示范教程。
至于具体三大场景落地性能，比GPU提高4-11倍，其中包含城市大脑从40颗传统GPU降为4颗NPU，从300ms延迟降至150ms；拍立淘商品库每天新增10亿商品图片识别时间由1小时缩短至5分钟；行人检测则由25路视频增加到100路视频，加快速度四倍；车辆检测同样增加到85路视频，加快速度8.5倍。此外，对于直播内容识别Inception V4模型，每秒帧数从460FPS提高至5000FPS，大幅提升了11次原有的帧率，而点播HDR则实现了6.6倍加速比，与英伟达A100相比其智能处理能力显著增强。
尽管如此，此次分享给出的实际使用情况还比较有限，没有详细讨论其他重要领域如语音交互或自然语言理解的情报。但无疑，从这些核心场景看来，当涉及到神经网络类任务时，无论是在训练还是部署阶段，其优势都非常明显。而随着未来更多实际案例逐渐浮出水面，我们可以期待看到更多关于这一新兴技术如何进一步融入现实世界中的故事。
