阿里含光800 AI处理器在人物场景下表现亮眼CPU排行榜2023天梯图显示性能高达GPU的4-11
在2023年的云栖大会上，阿里巴巴集团的首席技术官兼阿里云智能总裁张建锋再次带来了关于自研AI芯片含光800的最新进展。尽管这款芯片在2019年杭州云栖大会时就已经引起了广泛关注，但此次的分享则更侧重于其近一年来的实际应用和性能提升。
据龙欣，阿里云异构计算产品研发总监，他表示：“含光800 NPU实例已经正式对外服务，不需要白名单就可以在阿里云实例上购买。” 这款芯片支持8核NPU和96核vCPU、384G内存，以及最高30Gbit/s网络带宽，是专门面向数据中心的CNN类型模型推理加速。
除了这些硬件特性，含光800还具备深度优化CNN及视觉类算法，加速卷积和矩阵乘等功能。它能够支持ResNet-50、SSD/DSSD、Faster-RCNN、Mask-RCNN、DeepLab等模型，并且具有高能效、高密度计算与存储能力，以及软硬协同支持权重稀疏压缩和量化压缩。
至于性能提升，龙欣强调，“目前在具体应用中相比GPU有4-11倍性能提升。” 他给出了多个场景下的具体数据，比如城市大脑中的行人检测应用中，4核含光800可支持100路视频，而主流GPU只能10路；车辆检测中，可支持85路视频，而主流GPU仅10路。此外，在直播视频增强中，4核含光800处理500 FPS，而主流推理GPU仅50 FPS，因此性能加速比达到了10倍。
不过值得注意的是，这些数据并没有超出去年的预期，而且整体而言，此次分享给人的感觉是相对简单且不够丰富。这可能是由于当前全球贸易环境所致，使得相关企业对于话题敏感度提高。不过，从软件层面的角度来看，这样的硬件设备落地仍然需要长时间的努力，以获得客户认可并实现大规模部署。
