芯片封装新纪元阿里含光800 AI处理器闪耀亮相三大场景性能激增4-11倍超越GPU霸主

2019年杭州云栖大会上，阿里巴巴集团首席技术官兼阿里云智能总裁张建锋在简短的介绍中推出了阿里的首款AI芯片——含光800。这款当时最强的AI推理芯片的发布不仅引发了巨大的关注，也可谓是高调亮相。

今年，在阿里线上云栖举办的一个芯片设计发展现状与未来的论坛上，阿里云异构计算产品研发总监龙欣分享了含光800推出近一年后的最新进展。他表示：“含光800 NPU实例已经正式对外服务，不需要白名单就可以在阿里云实例上购买，实例名称是ebman1.24xlarge，最多支持8核NPU和96核vCPU，384G内存，网络带宽最高达到30Gbit/s，其主要面向数据中心的CNN类型模型推理加速，业务包括城市大脑、图像视频审核、拍立淘等。”

更为引人关注的是含光800在具体应用中的表现。尽管它尚未对外发售，但其性能通过Ar通道输出。在去年的文章中提到过科技巨头自研芯片，是因为有大量数据以及内部AI需求的推动，以提升效率和性价比。周五线上的分享中，龙欣也指出：“我们内部有广阔的AI应用场景，如电商应用、视觉应用、语音交互、自然语言理解、机器翻译等。”拍立淘作为一个典型案例，它每天处理数千万用户图片搜索匹配，这些都需要强大的AI能力。

因此，阿里希望通过自研硬件方案从提高效率和性价比。简单回顾一下，它具有深度优化CNN及视觉类算法，加速卷积和矩阵乘，以及针对ResNet-50等模型进行优化、高能效低延时、高密度计算与存储，以及软硬协同支持权重稀疏压缩等特点。

去年张建锋发布含光800时说，“在业界标准ResNet-50测试中，其推理性能达到了78563 IPS，比目前业界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名3.3倍。”不过龙欣昨天没有提及峰值性能，而是强调其可用性，并表示：“这个作为并没有在公开市场发售的芯片，我们通过Ar通道输出。”为了让包含NPU驱动和SDK自动安装，让系统支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04，还预装主流深度学习框架提供TensorFlow示范教程。

至于三大场景中的实际应用优势，他提供了新的数据。在行人检测中4核含光800能够支持100路视频，比主流GPU25路增加4倍。在车辆检测中，与主流GPU10路相比，可支持85路视频实现8.5倍增益。此外，在直播内容识别使用ResNet50 V2模型，每秒帧数可以达到20000 FPS，比主流GPU1800 FPS提升11倍。而Inception V4模型下，每秒帧数可达5000 FPS，比主流GPU460FPS提升10.8倍。

此外，在直播质量增强方面，每秒帧数为500 FPS，对比主流GPU50 FPS，可以实现10倍加速。在点播HDR环境下，每秒帧数66 FPS，即便英伟达A100训练后只有10 FPS，我们仍然可以实现6.6倍加速。这显示了四核心HPSV-XE系列处理器（如Pineview）对于媒体工作负载（尤其是在极端条件下的）所需高速转换能力给予该设备极佳适应性的突破性改进，使得这款处理器成为非常优秀选择用于高级图形任务或任何需要快速响应时间的大量并行操作的情况之下。