中国自主光刻机闪耀智慧阿里含光800 AI处理器震撼亮相三大场景性能爆发GPU比拼无敌
2019年杭州云栖大会上，阿里巴巴集团首席技术官兼阿里云智能总裁张建锋在简短的介绍中揭晓了阿里的首款AI芯片含光800，这款当时最强大的AI推理芯片的发布极大地吸引了人们的关注，几乎是高调亮相。
今年，在一次关于芯片设计发展现状与未来的论坛上，阿里云异构计算产品研发总监龙欣分享了含光800推出近一年后的最新进展。他指出：“含光800 NPU实例已经正式对外服务，不需要白名单就可以在阿里云实例上购买，实例名称是ebman1.24xlarge，最多支持8核NPU和96核vCPU、384G内存、网络带宽最高达到30Gbit/s，主要面向数据中心的CNN类型模型推理加速，其业务包括城市大脑、图像视频审核以及拍立淘等。”
更值得期待的是含光800在具体应用中的表现。尽管它尚未对外发售，但其性能已通过阿里云输出。正如去年的文章所述，当科技巨头自研芯片时，它们往往基于大量内部数据，以及为了提升效率和性价比。在周五线上的分享中，龙欣也提到，除了电商应用之外，还有广阔的AI应用领域，如视觉应用、语音交互以及自然语言理解等，其中拍立淘就是一个典型案例。
拍立淘拥有两千万日活用户，他们使用该功能时需通过一张图片，在4000万商品中进行搜索，并且在30亿图片库中进行匹配，同时根据用户习惯进行个性化推荐，这要求极为强大的AI能力。因此，阿里希望通过自主研发从硬件到软件方案来提升性价比。
让我们简单回顾一下：含光800以三大方面特色而闻名，即深度优化CNN及视觉类算法，加速卷积和矩阵乘，以及针对ResNet-50、SSD/DSSD、Faster-RCNN、Mask-RCNN和DeepLab等模型优化。此外，它还提供高能效低延时、高密度计算与存储减少I/O需求，以及软硬协同支持权重稀疏压缩计算量化压缩并可编程模型扩展。
去年发布时，由于业界标准ResNet-50测试结果显示其推理性能达到了78563 IPS，比目前业界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名的3.3倍。但是在昨天的分享中，没有直接提及峰值性能，而是强调其可用性，他表示，“作为并没有在公开市场发售的芯片，我们通过阿里云输出。”
为了让用户能够开箱即用，一旦购买实例，就可以自动安装NPU驱动和SDK；系统方面支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04，并预装主流深度学习框架，如TensorFlow 和MXNet。此外，还提供示范教程，让开发者能够快速适应这款新设备。
龙欣强调，在实际应用场景中，与GPU相比，可获得4至11倍性能提升。他给出的最新数据表明，在行人检测应用中的4核版本，可以处理100路视频，比主流GPU25路提高4倍。在车辆检测中，只需4核版本即可处理85路视频，比主流GPU10路提高8.5倍。而对于ResNet50 V2模型，每秒帧数可达20000 FPS，比主流GPU1800 FPS提升11倍；Inception V4模型每秒帧数则达到5000 FPS，比460FPS提升10.8倍。在直播质量增强方面，每秒帧数为500 FPS，对比50 FPS实现10倍加速。在点播HDR部分，每秒帧数66 FPS，使得即便英伟达A100这样的训练级别GPU也只能达到10FPS，我们实现6.6倍加速比。这些数字充分证明了包含物体识别、大规模图像处理等众多场景下，含光800显著超越传统解决方案。
然而，有关语音交互或自然语言理解等语言领域具体优势情况，则未被详细讨论。不过，从过去几年来看，这种自我封闭式的大型事件可能反映了一种更加谨慎态度，因为当前全球贸易环境不稳定导致许多企业变得更加小心翼翼地展示他们的人才成果或新技术创新，以避免任何潜在的问题或误解。
不过，更应该看到的是，即使存在这样一个团队能够迅速设计出一款先进晶圆，但要将这些技术转变为实际价值并取得客户认可仍然是一个长期过程。这涉及到软件层面的重要工作——确保它们既易于集成又具有足够的一致性，以便广泛部署。而且，将这些新技术落入市场并不容易，因为需要时间来赢得客户信任，并逐步建立起新的行业标准。虽然今天我们见证了一次重大突破，但未来还有很多挑战待克服，而这个过程将继续激励那些追求创新的人们不断前行。
