当2020年15亿个AI终端市场需求面前3nm芯片何时量产成为了定制AI芯片趋势的焦点
随着AI算法的逐步成熟以及芯片算力的提升，历经几年的热潮之后，AI技术只有落地应用才能获得进一步的发展。不过，算法需求与芯片算力不匹配的需求成为了AI落地的一大障碍。软硬一体化成为关键，但在软硬一体化提高效率的同时，如何满足多样化的需求也非常关键，定制化成为了趋势。
AI终端市场的多样化需求
这一轮AI热潮，不仅让越来越多的人认识和了解了AI技术，AI也正在成为每台智能设备日常工作的一部分。事实证明深度神经网络(DNN)非常有用，但是AI的进一步发展和落地仍有很多挑战。比如如何使得现有解决方案跟上发展趋势？如何扩展解决方案？如何以成熟工具链缩短TTM（Time to Market）和降低成本？
面对这些问题需要整个产业链协作共同满足市场需求。根据市场研究机构报告到2022年全球具有计算机视觉/机器视觉相继规模将超过15亿个包括智能手机、安防、消费电子、汽车图像传感器、工业等。这意味着定制化加速器可以更好地满足市场不同需求，但与此同时边缘端还需考虑数据量太大且运算复杂的问题。
CEVA营销副总裁Moshe Sheier认为，在边缘中遇到的问题是数据量太大且运算复杂，因此芯片带宽非常关键。他表示，“我们希望能提出更多对硬件设计影响较大的建议，让设计能够更好地适应我们的需要。”
提及带宽难题，他解释说“对于视频DSP来说，它们在处理视频流中的特征时，与其他类型处理任务相比，对于带宽要求要高得多。”他指出，“这就是为什么我们推出了NeuPro-S系列，这些系列包含NPS1000、NPS2000和NPS4000，每个周期分别拥有1000、2000或4000个8位MAC预配置处理器。”
基于对流行神经网络特性的理解，CEVA推出了第二代面向边缘设备的推理架构NeuPro-S，其中包括了L2内存支持，以减少使用外部SDRAM并降低功耗。而对于权重压缩方面，他们采用了离线权重压缩以及硬件解压缩，从而减少对带宽的大量请求。
最终通过优化设计NeuPro-S能够有效提升系统感知性能，并提供了一种灵活可扩展性选项以支持各种不同的神经网络模型。此外他们还提供了一套开放CDNN软件框架，可以帮助开发者集成了自己的硬件加速驱动，使得整个过程更加开放并降低成本。
当前已经完成车规验证，并授权给汽车和消费产品相机领域领先客户使用。而其独特优势在于可以实现统一架构中组合不同的核心，如CEVA-XM6视觉DSP、NeuPro-S内核以及定制引擎，以便满足广泛市场需求，同时降低开发者的部署难度并节约成本。此外他们计划于2019年底普遍授权许可CDNN-Invite API，为未来的创新奠定基础。
