CPU排行榜2023天梯图揭秘阿里含光800 AI处理器在三大场景中横扫GPU性能爆发4-11倍强劲
2019年杭州云栖大会上，阿里巴巴集团首席技术官兼阿里云智能总裁张建锋在简短的介绍中揭晓了阿里的首款AI芯片含光800，这款当时最强大的AI推理芯片的发布极大地吸引了人们的关注，几乎是高调亮相。
今年，在一次线上云栖有一个芯片设计发展现状与未来的论坛，阿里云异构计算产品研发总监龙欣分享了含光800推出近一年后的最新进展。他指出：“含光800 NPU实例已经正式对外服务，不需要白名单就可以在阿里云实例上购买，实例名称是ebman1.24xlarge，最多支持8核NPU和96核vCPU，384G内存，以及网络带宽最高达到30Gbit/s。”这个配置主要面向数据中心的CNN类型模型推理加速，并且涉及到城市大脑、图像视频审核以及拍立淘等业务。
更令人关注的是含光800在具体应用中的表现。尽管它尚未对外发售，但其性能通过阿里云输出。在去年的文章中提到过，科技巨头自研芯片正是由于大量数据在内部AI需求推动下，以提升效率和性价比为目的。周五的线上分享中，龙欣也表明了这一点，即使内部有广阔的AI应用领域，如电商应用、视觉应用、语音交互、自然语言理解和机器翻译等。
例如，在拍立淘这项功能中，每天有两千多万用户使用图片搜索商品，而要实现这种个性化推荐，就需要非常强大的AI能力。因此，为了提升硬件到软件方案上的性价比，这就是为什么阿里希望通过自研包含深度优化CNN及视觉类算法，加速卷积和矩阵乘，同时针对ResNet-50、SSD/DSSD等模型进行优化，以及支持权重稀疏压缩、高能效低延时、高密度计算与存储以及可编程模型扩展等特性的含光800来进行设计。
去年，当张建锋发布含光800时，他宣布该芯片在业界标准ResNet-50测试中的性能达到了78563 IPS，比目前业界最好的AI芯片性能高4倍；而能效比500 IPS/W，是第二名3.3倍之高。不过，在昨天的分享中并没有提及峰值性能，而是在强调其可用性。即便如此，它作为一款并未公开市场销售的芯片，其性能仍然十分令人瞩目。
为了让用户能够开箱即用，便于快速部署，还提供自动安装NPU驱动和SDK系统支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04，并预装主流深度学习框架如TensorFlow、MXNet示范教程。此外，它们还能够扩展至其他DNN模型。而目前已证实在三大场景中的具体应用中显示出了4-11倍甚至更高的地优势——例如，在行人检测方面，可以支持100路视频，比主流GPU25路提升4倍；车辆检测方面则可以支持85路视频，比主流GPU10路提升8.5倍；而对于Inception V4模型，则展示了5000 FPS处理帧率，比主流GPU460FPS提升10.8倍；还有直播质量增强能力，也同样显示出显著提高。
然而，对于语音交互或自然语言理解等语言领域实际应用优势，没有给出详细数据。不过，从整体来看，即便存在某些可能被忽略或不够丰富的情境描述，此次共享所提供信息仍然充分体现出了新一代技术产品如何满足日益增长的人工智能需求，为未来数字经济环境创造更多可能性。这只是开始，一段漫长旅程正在铺设。而关于下一代AI芯片何时问世，则依旧是一个悬念。
