难道不是面对2020年15亿个AI终端的市场需求定制生物芯片才是趋势吗
随着AI算法的逐步成熟以及芯片算力的提升，历经几年的热潮之后，AI技术只有落地应用才能获得进一步的发展。不过，算法需求与芯片算力不匹配的需求成为了AI落地的一大障碍，AI软硬一体化成为关键。但在软硬一体化提高效率的同时，如何满足多样化的需求也非常关键，定制化成为了趋势。
AI终端市场的多样化需求
这一轮AI热潮，不仅让越来越多的人认识和了解了AI技术，AI也正在成为每台智能设备日常工作的一部分。事实证明，深度神经网络(DNN)非常有用，但是AI的进一步发展和落地仍有很多挑战。比如，如何使得现有解决方案跟上发展趋势？如何扩展解决方案？如何以成熟的工具链缩短TTM（Time to Market）和降低成本？
面对这些问题，我们需要整个产业链协作共同满足市场需求。根据市场研究机构报告显示到2022年全球具有计算机视觉/机器视觉相继规模将超过15亿个，这包括智能手机、安防、消费电子、汽车图像传感器、工业等。这意味着定制化加速器可以更好地满足市场不同需求，但与此同时，在边缘端进行数据处理时遇到的挑战也是显而易见。
CEVA营销副总裁Moshe Sheier认为，在边缘端进行数据处理时，最大的困难就是数据量太大且运算复杂，而这正是我们所追求的小型、高性能、高能效产品设计目标。在这个过程中，我们必须考虑到内存带宽，因为即便图片很小引入卷积后权重数据量巨大，因此带宽成了瓶颈。而我们的NeuPro-S系列通过离线权重压缩和硬件解压缩极大减少了对带宽要求。
NeuPro-S支持多级内存系统，即加入L2内存支持，让用户通过设置L2大小尽量把数据放在L2缓存中，从而减少使用外部SDRAM，从而降低传输成本。这是一个重要进步，因为它允许我们更有效利用资源，同时保持高性能。
最终，我们推出了第二代面向边缘设备的一个新架构叫做NeuPro-S，它包含NPS1000、NPS2000和NPS4000，每个周期分别配置1000个8位MAC单元。NPS4000在1.5GHz时达到12.5 TOPS，并且完全可扩展最高可达100 TOPS。这种性能提升主要来自于硬件优化，以及在软件框架中加入了对L2内存支持，使得实际乘法利用率能够接近理论值。
这样的设计对于视频DSP来说至关重要，因为它能够运行各种神经网络模型，无论它们是组合还是独立。此外，它还能提供一种开放CDNN软件框架，可以让客户集成他们自己的硬件加速驱动并优化网络层，这对于提高效率至关重要。在未来的时间里，我相信这种合作模式会更加普遍，因为它为开发者提供了一种灵活性，以应对不断变化的地形和野生动物环境，而不必担心资源不足的问题。
因此，当你问我“难道不是面对2020年15亿个生物芯片终端的大市场，那么定制生物芯片才是趋势？”答案可能是肯定的。如果我们想要真正发挥这些先进技术潜能，就必须找到适合当前应用场景的地方，并确保我们的产品能够与不断变化的情况保持同步。这意味着无论是在制造业还是其他行业，都需要创新的方法来实现这一点——因为当一切都变迁无常的时候，只有一种方式可以保证成功：持续创新并适应新情况。
