集成电路工资太高了阿里含光800 AI处理器震撼亮相三大场景性能超越GPU4-11倍
在2019年杭州云栖大会上，阿里巴巴集团的首席技术官兼阿里云智能总裁张建锋隆重发布了公司的首款AI芯片——含光800。这款当时最强大的AI推理芯片的高调亮相，立即引发了广泛关注。
一年之后，在2020年的线上云栖大会上，阿里云异构计算产品研发总监龙欣分享了含光800推出后的最新进展。他表示，含光800 NPU实例已经正式对外服务，不需要白名单就可以在阿里云实例上购买。该实例支持8核NPU和96核vCPU、384G内存，以及网络带宽最高达到30Gbit/s。它主要面向数据中心的CNN类型模型推理加速，并应用于城市大脑、图像视频审核以及拍立淘等业务。
更令人振奋的是，尽管未对外发售，其性能通过阿里云输出已经显示出了其卓越之处。在去年的一篇文章中，我们提到过科技巨头自研芯片是为了满足内部庞大的AI需求，以提升效率和性价比。而龙欣也指出，阿里的内部AI应用包括电商应用、视觉应用、语音交互、自然语言理解及机器翻译等。例如，在拍立淘这个功能中，即使有两千多万日活用户，它仍需处理4亿多商品中的搜索以及30多亿张图片库中的匹配，这种强大的AI能力才能实现个性化推荐。
为了提高硬件与软件之间的协同效能并提升性价比，包含以下几个方面：
深度优化CNN及视觉类算法
加速卷积和矩阵乘，同时支持反卷积、孔洞卷积、三维卷积、二次插值以及ROI操作
针对ResNet-50、SSD/DSSD、高级Faster-RCNN/DeepLab等模型进行特定优化
此外，还具有高能效低延时、高密集计算与存储减少I/O需求，以及软硬件协同支持权重稀疏压缩和量化压缩指令集，以及可编程模型扩展能力。此设备特别针对CNN算法设计，但保持一定灵活性以配合全栈软件解决方案在特定场景中实现高性能加速。
去年张建锋宣布，当业界标准ResNet-50测试中含光800能够达到78563 IPS，比目前业界最好的AI芯片性能高4倍；而且其能效比500 IPS/W，是第二名的3.3倍。但是在今年龙欣分享时并没有提及具体峰值性能，而是强调其可用性，并表明“作为并没有在公开市场发售的芯片”，通过Arri Cloud 输出给予使用者自动安装NPU驱动与SDK系统支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04预装主流深度学习框架提供TensorFlow/MXNet示范教程。
实际应用表现则更加令人印象深刻。在城市大脑处理交通视频时，只需4颗含光800，而传统GPU需要40颗；拍立淘识别新商品图片时间从1小时降至5分钟。此外，在行人检测（100路视频）、车辆检测（85路视频）或内容识别（20000 FPS ResNet50 V2）等三大场景下，其性能均有显著提升：分别为4倍至11倍增益，与主流GPU相比。
然而，对于语音交互或自然语言理解领域尚未公布具体数据。不过，可以看出无论是在哪个领域，都有一定的潜力待挖掘。而随着全球贸易环境变得复杂，一些敏感话题可能被故意低调处理，不过这并不影响我们对于未来创新成果持乐观态度。
