UWB 芯片闪耀阿里含光800 AI处理器在三大场景中显现超强性能GPU比拼力度高出4-11倍
2019年杭州云栖大会上，阿里巴巴集团首席技术官兼阿里云智能总裁张建锋在简短的介绍中推出了阿里的首款AI芯片——含光800。这款当时最强的AI推理芯片的发布不仅引发了巨大的关注，也可谓是高调亮相。
今年，在阿里线上云栖举行的一个芯片设计发展现状与未来的论坛上，阿里云异构计算产品研发总监龙欣分享了含光800推出近一年后的最新进展。他表示：“含光800 NPU实例已经正式对外服务，不需要白名单就可以在阿里云实例上购买，实例名称是ebman1.24xlarge，最多支持8核NPU和96核vCPU，384G内存，网络带宽最高达到30Gbit/s。”这些配置主要面向数据中心的CNN类型模型推理加速，业务包括城市大脑、图像视频审核以及拍立淘等。
更令人关注的是含光800在具体应用中的表现。尽管它尚未对外发售，但其性能通过阿里云输出已为人所知。正如去年的文章所述，科技巨头自研芯片是因为有大量数据，以及内部广阔的AI应用需求，而希望通过自研芯片来提升效率和性价比。龙欣也在周五的线上分享中提到，这些内部应用包括电商应用、视觉应用、语音交互、自然语言理解和机器翻译等。
一个典型例子就是拍立淘，其两千多万日活用户使用这项功能时，要透过一张图片，在4亿多商品中搜索，在30多亿张图片库中进行匹配，并根据用户习惯进行个性化推荐，这就需要很强的AI能力。因此，为了提升硬件到软件方案的整体性价比，从硬件方面，有三个特色：深度优化CNN及视觉类算法，加速卷积和矩阵乘，以及针对特定模型（如ResNet-50）的优化；从软件方面，则提供全栈支持权重稀疏压缩、计算量化压缩以及指令集支持可编程模型扩展。
去年发布时，它在业界标准ResNet-50测试中的推理性能达到了78563 IPS，比目前业界最好的AI芯片性能高4倍；能效比500 IPS/W，是第二名3.3倍之高。而现在，由于没有公开市场销售，它通过Arab Cloud输出。不过为了让其开箱即用，可自动安装NPU驱动与SDK，同时系统支持公共镜像CentOS 7.6/7.7和Ubuntu 16.04，还预装主流深度学习框架，如TensorFlow或MXNet，并提供示范教程。
龙欣强调，该设备主要用于数据中心与大型端上的CNN类模型推理加速，以此为基础可扩展至其他DNN模型。在实际场景下，与GPU相比，其性能提升幅度达到4-11倍。在城市大脑处理交通视频或商品库识别新商品图片时，即便延迟减少至150ms或5分钟，也证明了其显著优势。在行人检测与车辆检测任务中，其处理能力分别提高了4倍及8.5倍；而对于内容识别任务，如直播视频增强或点播HDR，其帧率分别超过10倍及66FPS。此外，对于Inception V4模型，其处理速度也是主流GPU速度的一半以上。
然而，对于语音交互与自然语言理解领域则未给出具体数值。不过，无论如何，此次分享并未披露新的关键信息，只是简单回顾了一些早已公布的事实。此可能源于当前全球贸易紧张关系使得各公司对于敏感话题更加谨慎。但更重要的是，即便拥有这样强大的团队快速设计出一款顶尖芯片，大规模落地仍需长时间投入，而且这一过程软件扮演着不可忽视角色。而客户认可采用同样非易事。因此，可以预见未来还会有更多关于这一领域的话题出现，但至今为止，我们仍然只是站在起步阶段。
相关阅读：
《[雷锋网]》: 《[2020年]》: 《[2020年]》
