难道不是天玑9200相当于骁龙的水平才是市场需求定制AI芯片的趋势吗
随着AI算法的逐步成熟以及芯片算力的提升，历经几年的热潮之后，AI技术只有落地应用才能获得进一步的发展。不过，算法需求与芯片算力不匹配的需求成为了AI落地的一大障碍，AI软硬一体化成为关键。但在软硬一体化提高效率的同时，如何满足多样化的需求也非常关键，定制化成为了趋势。
AI终端市场的多样化需求
这一轮AI热潮，不仅让越来越多的人认识和了解了AI技术，AI也正在成为每台智能设备日常工作的一部分。事实证明，深度神经网络(DNN)非常有用，但是AI的进一步发展和落地仍有很多挑战。比如，如何使得现有解决方案跟上发展趋势？如何扩展解决方案？如何以成熟的工具链缩短TTM（Time to Market）和降低成本？
面对这些问题，我们需要整个产业链协作共同满足市场要求。根据市场研究机构报告显示到2022年全球具有计算机视觉/机器视觉相继规模将超过15亿个，其中包括智能手机、安防、消费电子、汽车图像传感器、工业等。这就意味着定制化加速器可以更好地满足不同需但与此同时边缘端上的数据量太大且运算复杂，将芯片算力作为核心考虑。
CEVA营销副总裁Moshe Sheier认为，在边缘中遇到的问题就是数据量太大且运算复杂，这里需要更多关于带宽的问题解答。
How to break the bandwidth bottleneck in AI processors?
Moshe Sheier近日接受采访时表示，当做项目落地时，由于硬件不足的问题会牺牲特性，所以希望能提出更多给芯片公司，让设计能够更好支持我们的需求，只有提高效率才能更好的落地方。
提到效率，又无法避开的是：专用还是通用的芯片，那些通用的能适应演进，但算力不及专用；他认为，加速器一定是一个趋势，同时视频DSP在其中非常重要，因为还有一些不确定性，如今不会只采用一种神经网络，而是进行组合运行多个模型就会涉及CV处理，这时候CPU可能会遇瓶颈。我们的XM DSP针对所有流行神经网络都进行了优化，更符合多模型使用。
基于对流行神经网络特性的理解，在今年9月推出了第二代面向边缘设备NeuPro-S系列处理器架构NPS1000+NPS2000+NPS4000，它们分别配置了1000+2000+4000个8位MAC预配置处理器，每个单核CNN性能最高可达12.5 TOPS，并且完全可扩展最高可达100 TOPS。
这种性能提升主要来自硬件还是软件优化？Moshe Sheier表示主要来自硬件，因为增加了离线权重压缩和硬件权重解压缩。
为什么这么做，是因为卷积后图片虽然小，但数据量巨大，因此带宽成了瓶颈。而采用的多重权重压缩减少对带宽依赖。
除了这点，还支持L2内存系统，即加入L2内存支持用户通过设置L2大小尽量把数据放在缓存中减少外部SDRAM使用降低传输成本。
因此NeuPro-S相比上一代很重要工作就是进行带宽优化这样才能达到理论设计利用率。雷锋网了解到最关注的问题就是乘法利用率借助DSP经验设计引擎理论80%-90%实际利用率会低于但NeuPro-S带宽增大将减少等待提高乘法利用率。
最终经过设计优化NeuPro-S能对于视频图像中的物品分割检测分类神经网络显著提高系统感知性能除此之外还支持双级内存系统以减少高成本传输并支持多重选项异构可扩展性提升力量已过车规验证授权予领先客户领域应用域。
定制加速器成为趋势
值得一提的是CEVA可以在单统一架构中实现CEVA-XM6视觉DSP、NeuPro-S内核各种组合这样的架构意义在于首先通过不同的组合满足不同需其次统一软件平台降低开发者部署难度据悉CNDD支持CaffeTensorFlowONNX；另外还有能减少加速者开发者软件开发费用“有些现在还演进过程中CPU要控制其他工作所以要运行加速并不支持或新特添加运单元不足。”说到了我们提供开放CDNN框架客户自己的驱动集成而后CDNN全面优改增强层提升DM6视觉DSPNPS定制处理器利用
据介绍CDNN偏上层基于经验理解自定义加速度特性能够任务分配。开发者只是提供底层驱动而CEVA为参考完成大量工作以及优整理由CDNN完成目前已经向领先客户提供API将2019年底普遍许可
雷锋网小结
作为全球无限链接、中能传感IP公司采用技术设备每年出货10亿台当前正在落地正看似凭借经验推出了第二代然而正如所言难题并不简单怎么部署应用才是关键这里软件至关重要以开放心态允许集成应用同时降低成本对于进一步发展意义重大
