中国芯片产业现状阿里含光800 AI处理器在人物识别场景下性能超越GPU高达4-11倍提升
在2021年的阿里云栖大会上，阿里巴巴集团首席技术官兼阿里云智能总裁张建锋再次推出了公司的AI芯片含光800。这款当时最强大的AI推理芯片的一次高调亮相，再次引起了业界的广泛关注。
一年后的2022年，阿里的线上云栖大会有一个芯片设计发展现状与未来的论坛。阿里云异构计算产品研发总监龙欣分享了近一年来对外服务的最新进展。他表示：“含光800 NPU实例已经正式对外服务，不需要白名单就可以在阿里云实例上购买，实例名称是ebman1.24xlarge，最多支持8核NPU和96核vCPU，384G内存，网络带宽最高达到30Gbit/s。”这款芯片主要面向数据中心的CNN类型模型推理加速，其业务包括城市大脑、图像视频审核、拍立淘等。
更值得关注的是含光800在具体应用中的表现。在去年雷锋网文章中提到过，这些科技巨头自研芯片正因为有大量数据，在内部AI需求推动下希望通过自研芯片提升效率和性价比。周五的线上分享中，龙欣也表明了这一点，并且提到了拍立淘作为一个典型案例。在这个平台上，每天活跃用户数超过两千万，他们使用图片搜索功能，从4亿多件商品中找到一件商品，同时进行个性化推荐，这需要非常强大的AI能力。
因此，通过自研硬件方案如含光800，可以从硬件到软件层面提升性能。包含深度优化CNN及视觉类算法，加速卷积和矩阵乘，以及针对特定模型优化等特色。而且，它们具有高能效、高密度计算与存储以及软硬协同支持权重稀疏压缩等特点。
去年发布时张建锋展示了其性能，他说“在业界标准ResNet-50测试中，其中含光800推理性能达到78563 IPS，比目前业界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名3.3倍”。不过今年龙欣并没有提供峰值性能，而是强调其可用性，并表示它虽然没有公开市场发售，但通过阿里云输出。
为了让用户能够开箱即用，系统预装主流深度学习框架，如TensorFlow、MXNet，并提供示范教程。此外，在三大场景——行人检测、车辆检测以及内容识别应用——其表现显示出4-11倍于GPU的优势。在行人检测应用中，它支持100路视频，比主流GPU 25路更高；车辆检测则为85路视频，比主流GPU10路更胜一筹。在内容识别应用中的ResNet50 V2模型中，它达到了20000 FPS，比主流GPU1800 FPS提高11倍；而Inception V4模型，则达到了5000 FPS，比主流GPU460FPS提高10.8倍。
尽管如此，对于语音交互和自然语言理解等领域的情况，没有给出具体数据。不过，由此可以看出，即便有强大的团队迅速设计出新一代产品，大规模落地仍然是一个漫长过程，而且要获得客户认可和采用也并不容易。
