国内芯片公司排名前十难道不应该面对2020年15亿个AI终端的市场需求而定制AI芯片吗
在2020年的市场需求中，面对15亿个AI终端的挑战，国内芯片公司排名前十的企业如何响应？定制化的AI加速器成为了趋势。然而，AI技术落地应用中的一个关键问题是软硬一体化之间的协同效应，以及如何满足多样化和定制化需求。
随着深度学习算法不断进步，AI技术已经渗透到各个领域，如智能手机、安防系统、消费电子、汽车图像传感器等。据预测，在2022年前全球将拥有超过15亿部具备计算机视觉/机器视觉功能的设备。这意味着，针对这些设备设计的定制化AI加速器能够更好地满足市场上的不同需求。
不过，这也带来了边缘端落地应用所面临的一系列挑战。CEVA营销副总裁Moshe Sheier指出，即便是高性能硬件，如果数据量巨大且运算复杂，也难以解决问题。他提出了一个问题：我们是否应该更加关注如何提高算法效率，以便让AI能够真正落地？
对于这个问题，Moshe Sheier给出了答案：“我们希望算法公司提出更多具体需求，让芯片设计能更好地满足这些需求。”他强调，只有当算法效率提升时，才能使得AI真正得到发展。
在探讨通用与专用的芯片选择时，他表示：“虽然通用芯片可以适应算法演进，但其算力不及专用芯片。”然而，与此同时，他也认为“视频DSP在AI中非常重要，因为很多神经网络不确定性”，因此需要多种神经网络组合运行，而这就可能导致CPU出现瓶颈。
基于这样的考虑，CEVA推出了第二代面向边缘设备的NeuPro-S AI推理处理器架构，该架构包括NPS1000、NPS2000和NPS4000，每个周期具有1000、2000或4000个8位MAC预配置处理器。在1.5GHz时可达到12.5 TOPS，并且可完全扩展最高可达100 TOPS。
这种性能提升主要来自于硬件优化，其中增加了离线权重压缩和硬件权重解压缩来减少对带宽要求。此外，它还支持多级内存系统，并提供了L2内存支持，以减少使用外部SDRAM并降低传输成本。
最终，由于NeuPro-S进行了带宽优化，可以提高乘法利用率，从而显著提高系统感知性能，同时它通过统一软件平台支持Caffe、TensorFlow和ONNX，使得开发者可以更容易实现跨平台部署，同时减少开发成本。
