Arm发布新一代边缘AI计算平台，可运行超10亿参数模型

2月(yuè)27日(rì)，Arm控(kòng)股(gǔ)有(yǒu)限公司发布了Armv9边缘人工智能(AI)计算平台。据悉，该平台可支持运行超10亿参数的端侧AI模型。

Arm高级副总裁兼物联网事业部总经理PaulWilliamson表示：“AI的革新已不再局限于云端。随着世界的互联和智能化水平的日益提升，从智慧城市到工业自动化，在边缘侧处理AI工作负载不(bù)仅(jǐn)带(dài)来(lái)显(xiǎn)著(zhe)的(de)优(yōu)势(shì)，其(qí)必(bì)要(yào)性(xìng)更(gèng)是(shì)不(bù)可(kě)或(huò)缺(quē)。专(zhuān)为(wèi)物(wù)联(lián)网(wǎng)打(dǎ)造(zào)的(de)Armv9边(biān)缘(yuán)AI计(jì)算(suàn)平(píng)台(tái)的(de)推(tuī)出(chū)，标(biāo)志(zhì)着(zhe)这(zhè)一(yī)发(fā)展(zhǎn)趋(qū)势(shì)迈(mài)入(rù)了(le)重(zhòng)要(yào)的(de)里(lǐ)程(chéng)碑(bēi)。”

据(jù)介(jiè)绍(shào)，Arm此(cǐ)次(cì)发(fā)布(bù)的(de)计(jì)算(suàn)平(píng)台(tái)集成(chéng)了(le)全新(xīn)的(de)超(chāo)高(gāo)能(néng)效(xiào)Armv9CPU——Cortex-A320和(hé)支(zhī)持(chí)Transformer算(suàn)子(zi)网(wǎng)络(luò)的(de)Ethos-U85NPU，打(dǎ)造(zào)出(chū)全球(qiú)首(shǒu)个(gè)专(zhuān)为(wèi)物(wù)联(lián)网(wǎng)优(yōu)化(huà)的(de)Armv9边(biān)缘(yuán)AI计(jì)算(suàn)平(píng)台(tái)。相(xiāng)较(jiào)于(yú)去(qù)年(nián)推(tuī)出(chū)的(de)基(jī)于(yú)Cortex-M85的(de)平(píng)台(tái)，新(xīn)的(de)边(biān)缘(yuán)AI计(jì)算(suàn)平(píng)台(tái)的(de)机(jī)器(qì)学(xué)习(xí)(ML)性(xìng)能(néng)提(tí)高(gāo)了(le)八(bā)倍(bèi)。Arm表(biǎo)示(shì)，从(cóng)授(shòu)权(quán)该(gāi)技(jì)术(shù)以(yǐ)构(gòu)建(jiàn)SoC芯(xīn)片(piàn)的(de)合(hé)作(zuò)伙(huǒ)伴(bàn)，到(dào)构(gòu)建(jiàn)下(xià)一(yī)代(dài)设(shè)备(bèi)的(de)ODM和(hé)OEM厂(chǎng)商(shāng)，该(gāi)平(píng)台(tái)受(shòu)到(dào)了(le)包(bāo)括(kuò)亚(yà)马(mǎ)逊(xùn)云(yún)科(kē)技(jì)(AWS)、西(xi)门(mén)子(zi)、瑞(ruì)萨(sà)电(diàn)子(zi)、研(yán)华(huá)科(kē)技(jì)和(hé)Eurotech在(zài)内(nèi)的(de)多(duō)家(jiā)业(yè)界(jiè)合(hé)作(zuò)伙(huǒ)伴(bàn)的(de)支(zhī)持(chí)。

记者在现场了解到，该平台能够支持基于智能体的AI应用上运行经过调优的大语言模型(LLM)和小语言模型(SLM)，从而开辟全新类别的边缘应用场景。在未来的场景中，智能决策将更接近数据采集源头，这不仅能显著减少延迟，还能有效提升隐私保护水平。