阿里含光800 AI处理器高调亮相像一位舞者在手机CPU天梯图上纵横走位其在三大场景中的落地性能如同
在2019年的云栖大会上，阿里巴巴集团首席技术官兼阿里云智能总裁张建锋隆重发布了公司的首款AI芯片——含光800。这款当时最强大的AI推理芯片的亮相，让整个科技界都瞩目的不仅仅是其强大的性能，更是它背后的意义。自那以后，一年时间过去，我们迎来了2023年的线上云栖大会，这一次，阿里云异构计算产品研发总监龙欣站在虚拟舞台上，为我们带来了一场关于含光800近一年来的最新进展和应用实践的盛宴。
龙欣简要介绍了含光800 NPU实例已经正式对外服务，不再需要白名单即可在阿里云实例上购买。这个实例名为ebman1.24xlarge，最多支持8核NPU和96核vCPU、384G内存以及网络带宽最高达到30Gbit/s。他指出，主要面向数据中心的CNN类型模型推理加速，以及业务包括城市大脑、图像视频审核、拍立淘等领域。
更值得关注的是，在实际应用中，含光800展示出了令人瞩目的表现。尽管它尚未对外发售，但通过阿里云输出，它已经展现出极高的性能。在雷锋网去年的一篇文章中提到过，即使是科技巨头自研芯片，也不过是在内部广泛使用大量数据驱动下的AI需求下所作出的努力，以提升效率和性价比。而现在，在周五线上的分享中，龙欣也明确表示了这一点：阿里的内部有着广阔的AI应用领域，从电商到视觉，再到语音交互、自然语言理解乃至机器翻译等，都需要强大的AI能力作为支撑。
一个典型案例便是拍立淘，它拥有两千多万日活用户，每天通过一张图片搜索4亿多商品，并在30多亿张图片库中进行匹配，同时根据用户习惯提供个性化推荐。这一切都要求极高的AI处理能力。因此，为了提升硬件与软件方案之间的整体性价比，是阿里希望通过自研含光800实现目标。
从硬件层面看，含光800具有三大特色：
深度优化CNN及视觉类算法
加速卷积和矩阵乘法，同时支持反卷积、孔洞卷积、三维卷积、插值操作以及ROI等
针对ResNet-50/SSD/DSSD/Faster-RCNN/Mask-RCNN/DeepLab等模型进行优化
除了这些特点之外，还有高能效低延时、高密度计算与存储减少I/O需求，以及软硬协同支持权重稀疏压缩和量化压缩功能。此外，其指令集还可以编程扩展各种激活函数，如INT8/INT16量化加速以外，还覆盖FP16/BFP16向量计算直接加速ReLu/Sigmoid/Tanh等激活函数，并且未来新型激活函数也可以得到支持。
显然，由于设计专门针对CNN算法模型，但同时保持一定灵活性，再搭配全栈软件支持，便能够在特定应用或算法中实现高效率与良好的性能。在去年的发布会上，当时业界标准ResNet-50测试结果显示，比目前业界最好AI芯片性能高4倍，而能效比则达到了500 IPS/W，是第二名4000IPS/W能效比的大约3.3倍。但是在昨天分享的时候并没有提及具体数字，而是更加侧重于其可用性的强调：“虽然包含未被公开市场销售中的芯片，但通过我们的输出系统。”为了让这款技术能够开箱即用，他们允许购买实例用户自动安装NPU驱动程序及其相关SDK；系统方面，则提供公共镜像CentOS 7.6/7.7以及Ubuntu 16.04，并预装主流深度学习框架如TensorFlow/MXNet供开发者使用，其中还附带示范教程帮助初学者入门。
对于具体应用情况而言，与GPU相比，有着4到11倍甚至更大的性能提升。在城市大脑项目中利用传统GPU就需40颗卡才能完成任务并且耗费300ms时间，而只需四颗含光800就能完成相同工作耗时降至150ms；拍立淘则由原先每小时识别10亿商品图片变为5分钟；行人检测项目涉及100路视频，由原来主流GPU只能处理25路而今以4核心配置即可应付所有内容；车辆检测项目亦如此，对85路视频而非10路显示出显著差异。此外，在直播短视频内容识别方面，与主流GPU相较之下，加速度尤其突出：
在ResNet50 V2模型中的帧率增加至20000 FPS，比主流推理GPU1800 FPS增长11倍。
在Inception V4模型中的帧率达到5000 FPS，比主流推理GPU460FPS增长10.8倍。
在直播质量增强方面，以HDR点播为例，可实现66 FPS，对比50 FPS，其速度提高十番之力。
综上所述，无论是在哪个场景下，都展示出了该技术在实际运用中的卓越表现，使得基于此技术的人工智能解决方案变得更加有效果，此举无疑将进一步促进行业发展，同时也引起公众对于未来可能出现的一代又一代这样的创新产品兴趣浓厚。而随着全球贸易关系紧张的情况可能影响公司对于敏感话题表露的情绪态度，这次分享给人的印象似乎并不足以刺激人们期待更多细节信息。但正如前文所述，即便是一家领先企业依靠团队快速设计新产品，那么真正落地实施仍然是一个漫长过程，而且成功获得客户认可采用同样难以轻易取得。不过，就如之前讨论过的问题，如果还有后续消息或者更新，我们会继续关注并报道下去。如果您想了解更多关于此类主题的话题，请持续关注雷锋网。
