CEVA推出加强型NeuPro－M NPU IP系列，鼎力鞭策生成式人工智能 (Generative AI) “CEVA,Inc.公布推出加强型NeuPro-M NPU系列，以业界领先的机能和能效知足下一代生成式人工智能(Generative AI)的处置需求，合用在从云端到边沿的各种别的人工智能推理工作负载。

NeuPro-M供给业界领先的350 TOPS/Watt机能，以出色的本钱和能效为根本举措措施、工业、汽车、PC、消费产物和移动市场带来壮大的生成式人工智能(Generative AI)全球领先的无线毗连、智能感知手艺和定制SoC解决方案的授权许可厂商CEVA, Inc. (纳斯达克股票代码： CEVA)公布推出加强型NeuPro-M NPU系列，以业界领先的机能和能效知足下一代生成式人工智能(Generative AI)的处置需求，合用在从云端到边沿的各种别的人工智能推理工作负载。NeuPro-M NPU架构和东西颠末从头设计，除撑持CNN和其他神经收集外，还撑持transformer收集，并撑持将来的机械进修推理模子，因此可以或许在通讯网关、光毗连收集、汽车、笔记本电脑和平板电脑、AR/VR头戴式装备、智妙手机和任何其他云端或边沿利用案例中，基在NeuPro-M NPU进行无缝开辟和运行高度优化的利用，充实操纵生成式人工智能和传统人工智能的功能。

CEVA副总裁兼视觉营业部分总司理Ran Snir 评论道：“基在transformer的收集需要年夜量增添计较和内存资本以鞭策生成式人工智能，从而要求新的方式和优化的处置架构来知足这股计较和内存需求的增加。我们的 NeuPro-M NPU IP颠末专门设计，高效、低本钱地处置当前和将来的传统人工智能和生成式人工智能工作负载。这款IP具有可扩大性，可处置从边沿到云真个用例，并可以在将来撑持新的推理模子。我们操纵这款架构实现了机能奔腾，为各类利用案例带来了夸姣的生成式人工智能前景，涵盖从本钱敏感的边沿装备到高效的云计较，和二者之间的所有利用。”市场研究机构ABI Research猜测，边沿人工智能出货量将从2023年的24亿台增加到2028年的65亿台，年均复合增加率(CAGR)为22.4%*。生成式人工智能将是支持增加的主要气力，而日趋复杂的智能边沿利用正在鞭策对更壮大、更高效的人工智能推理手艺的需求。特殊地，固然生成式人工智能中利用的年夜型说话模子(LLM)和视觉和音频transformer可以或许改变产物和行业，但在边沿装备上运行时，将会对机能、功耗、本钱、延迟和内存带来新的挑战。ABI Research高级阐发师Reece Hayden暗示：“现在，生成式人工智能的硬件市场高度集中，少数几家厂商占有主导地位。为了兑现手艺许诺，在云端和边沿范畴都需要明白的路径去实现更低功耗、更低本钱推理处置，这将经由过程更小的模子尺寸和更高效的硬件来实现。CEVA的NeuPro-M NPU IP是别具吸引力的方案，可以或许在装备上摆设具有超卓功耗预算的生成式人工智能，同时具有可扩大性，使得NeuPro-M可以或许知足收集装备和其他装备中更多的机能密集型用例。受益在推理和建模手艺的不竭成长，人们在装备层面可以操纵更小的特定范畴LLM、视觉transformer和其他生成式人工智能模子的新功能，响应地，这将改变根本举措措施、工业、汽车、PC、消费产物和移动市场的利用。最主要的是，因为集成了矢量处置单位(VPU)，加强型NeuPro-M 架构具有高度通用性和面向将来的可扩大性，可撑持将来的任何收集层。另外，这款架构还撑持任何激活函数和任何数据流，具稀有据和权重的真正稀少性，最高可将处置机能晋升 4 倍，使得客户可以或许利用单一 NPU 系列知足多种利用和多个市场的需求。为了实现多样化人工智能市场合需的更年夜可扩大性，NeuPro-M增添了全新的 NPM12 和 NPM14 NPU 内核，别离具有两个和四个NeuPro-M引擎，可轻松供给更高机能人工智能工作负载。加强型 NeuPro-M 系列今朝包罗四款NPU，别离是NPM11、NPM12、NPM14和NPM18。NeuPro-M具有多功能性和出色的机能和能效，成为现今业界领先的 NPU IP产物，在 3nm 工艺节点上可实现 350 TOPS/Watt 峰值机能，在基在transformer的LLM 推理中，每瓦每秒可处置跨越 150 万个token。CEVA为加强型NeuPro-M架构供给颠末改良的综合开辟东西链，它基在CEVA屡获殊荣的神经收集AI 编译器CDNN，具有架构感知功能，可充实操纵NeuPro-M并行处置引擎，最年夜限度地提高客户的AI利用机能。CDNN软件包罗一个内存治理器，用在下降内存带宽和优化负载均衡算法，并兼容包罗TVM和ONNX的常见开源框架。供货NPM11 NPU IP现已周全上市，可供客户摆设利用。CEVA向首要客户供给NPM12、NPM14 和 NPM18。如要领会更多信息，请拜候公司网页https://www.eartodastreetz.com。