阿里含光800 AI处理器亮相后在人物场景下的性能大幅提升高于GPU4-11倍2022年进口芯片金额
在2022年的进口芯片金额持续增长的背景下，阿里巴巴集团首席技术官兼阿里云智能总裁张建锋于2019年杭州云栖大会上高调亮相了其首款AI芯片含光800。这款当时最强AI推理芯片的发布引发了巨大关注。
一年后，阿里云异构计算产品研发总监龙欣在今年的线上云栖论坛分享了含光800推出后的最新进展。他表示，含光800 NPU实例已经正式对外服务，不需要白名单就可以在阿里云实例上购买。这个实例支持8核NPU和96核vCPU、384G内存，以及最高30Gbit/s网络带宽，主要面向数据中心的CNN类型模型推理加速。
更值得关注的是，在具体应用中的表现。尽管含光800还未对外发售，但通过阿里云输出，其性能已经被验证。在电商应用、视觉应用、语音交互、自然语言理解等方面，都有广阔的AI应用场景，比如拍立淘，这项功能每天要处理两千多万用户之间与4亿多商品图片之间的匹配和推荐，这就需要很强大的AI能力。
为了提升性价比，阿里的设计团队深度优化CNN及视觉类算法，加速卷积和矩阵乘，并针对ResNet-50等模型进行优化。此外，它还具有高能效、高密度计算与存储特点，以及软硬协同支持权重稀疏压缩和量化压缩指令集。这些特性使得含光800能够保持一定灵活性，同时实现高性能加速。
去年发布时，张建锋宣布，在业界标准ResNet-50测试中，含光800达到78563 IPS，比目前业界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名3.3倍。而今，对于具体应用中的表现，由于没有提及峰值性能，而是强调可用性。在城市大脑中使用40颗传统GPU延时为300ms，可使用4颗含光800降至150ms；拍立淘从1小时识别商品图片缩短至5分钟等场景下，其性能提升达到了4-11倍。
不过，由于此次分享时间有限且包含了一些已公开信息，因此对于实际优势描述不够丰富。不过，从去年的数据来看，可以预见这款芯片将会在三大AI应用中提供显著提升。
