TinyML設(shè)備設(shè)計(jì)的Arm內(nèi)核

Arm cores designed for TinyML devices

Arm推出了兩個(gè)新的IP核，旨在為終端設(shè)備、物聯(lián)網(wǎng)設(shè)備和其低功耗、成本敏感的應(yīng)用程序提供機(jī)器學(xué)習(xí)的動(dòng)力。Cortex-M55微控制器核心率先采用Arm的氦矢量處理技術(shù)，而Ethos-U55機(jī)器學(xué)習(xí)加速器則是該公司現(xiàn)有Ethos NPU（神經(jīng)處理單元）家族的微型版本。兩個(gè)核心設(shè)計(jì)為一起使用，盡管也可以單獨(dú)使用。

在微控制器和其成本敏感、低功耗資源受限的設(shè)備上實(shí)現(xiàn)人工智能和機(jī)器學(xué)習(xí)應(yīng)用被稱(chēng)為tinyML領(lǐng)域。隨著5G的興起，終端設(shè)備的智能化趨勢(shì)開(kāi)始顯現(xiàn)，tinyML有望以指數(shù)級(jí)的速度成長(zhǎng)為一個(gè)包含數(shù)十億消費(fèi)者和工業(yè)系統(tǒng)的市場(chǎng)。

“當(dāng)回首五年后，可能都同意這一次標(biāo)志著計(jì)算領(lǐng)域真正的范式變革，”Arm物聯(lián)網(wǎng)和嵌入式的高級(jí)主管thomasensergueix說(shuō)。“在幾年內(nèi)就看到了人工智能如何徹底改變了數(shù)據(jù)分析在云端的運(yùn)行方式，大多數(shù)人口袋里都有一部人工智能增強(qiáng)型智能手機(jī)，現(xiàn)在是下一步，為各地的人工智能做好準(zhǔn)備。”

智能家居設(shè)備，如智能音箱，將越來(lái)越能夠自己進(jìn)行機(jī)器學(xué)習(xí)推理

機(jī)器學(xué)習(xí)，包括語(yǔ)音識(shí)別和計(jì)算機(jī)視覺(jué)應(yīng)用，將越來(lái)越多地發(fā)生在微控制器中。一系列的微控制器替代品如雨后春筍般涌現(xiàn)，基于Arm內(nèi)核和其處理器，Arm正瞄準(zhǔn)這兩個(gè)新內(nèi)核。
Ensergueix說(shuō)：“知道，端點(diǎn)級(jí)別的所有數(shù)據(jù)都不能回到云端。“家庭或智能城市中的攝像機(jī)每天都會(huì)產(chǎn)生千兆字節(jié)的數(shù)據(jù)，而基礎(chǔ)設(shè)施并不是為這種上游數(shù)據(jù)流而建的。確信，需要的是擴(kuò)展到數(shù)十億或萬(wàn)億的物聯(lián)網(wǎng)終端，將需要直接在物聯(lián)網(wǎng)終端的人工智能推斷能力。需要安全。”

Cortex-M55

Cortex M-55是Arm著名的Cortex-M系列微控制器的最新補(bǔ)充，被設(shè)計(jì)成Arm最具人工智能能力的Cortex-M內(nèi)核。

M55是第一款使用Arm新的氦矢量處理技術(shù)的機(jī)型，與前幾代Cortex-M相比，該技術(shù)的DSP性能提高5倍，ML性能提高15倍。基于Armv8.1-M體系結(jié)構(gòu)，可以創(chuàng)建自定義指令來(lái)針對(duì)特定的工作負(fù)載優(yōu)化處理器，也許可以壓縮掉最后一次斷電。

結(jié)合M55和U55利用了M55增加的DSP馬力，可以用于信號(hào)預(yù)處理。然而，M55本身可以運(yùn)行神經(jīng)網(wǎng)絡(luò)工作負(fù)載。具有INT8數(shù)字的專(zhuān)用指令，包括在機(jī)器學(xué)習(xí)應(yīng)用中常用的點(diǎn)積。

一個(gè)成功的AIoT應(yīng)用“不僅取決于良好的計(jì)算性能，而且還取決于能否在正確的時(shí)間獲得正確的數(shù)據(jù)、正確的系數(shù)和正確的機(jī)器學(xué)習(xí)權(quán)重，因此處理器的內(nèi)存接口已經(jīng)過(guò)優(yōu)化，能夠處理所有進(jìn)出的數(shù)據(jù)。在這方面，比其任何Cortex-M核心都更有能力，”Ensergueix說(shuō)。

Cortex-M55和Ethos-U55的組合對(duì)于手勢(shì)識(shí)別、生物識(shí)別和語(yǔ)音識(shí)別等應(yīng)用具有足夠的處理能力。

Ethos-U55

Ethos-U55被稱(chēng)為Arm的首款“微型NPU”，提供高達(dá)0.5的最高加速度（基于16nm或7nm等更小的幾何結(jié)構(gòu)，運(yùn)行頻率為1GHz）。Arm還沒(méi)有公布能效數(shù)據(jù)（TOPS/W）。是可配置的-可以使用32到256個(gè)乘法累加單元（mac）-有一個(gè)重量解碼器和直接內(nèi)存訪(fǎng)問(wèn)，用于動(dòng)態(tài)權(quán)重解壓縮。

Ethos-U55加入了Ethos N77、N57和N37，相比之下，分別提供了4個(gè)、2個(gè)和1個(gè)TOP。性能可以通過(guò)使用多個(gè)etos內(nèi)核進(jìn)行擴(kuò)展。

Cortex-M55和Ethos-U55設(shè)計(jì)用于一起使用，但也可以單獨(dú)使用。

M55和U55這兩個(gè)新的內(nèi)核被設(shè)計(jì)為可以一起使用，可以比任何上一代Cortex-M設(shè)備更快地處理ML任務(wù)。Arm表示，與單獨(dú)使用Cortex-M7相比，使用ML的端到端語(yǔ)音助手應(yīng)用程序的速度提高了50倍，而且功率效率提高了25倍。

Arm機(jī)器學(xué)習(xí)小組副主席史蒂夫·羅迪解釋說(shuō)：“Cortex-M將運(yùn)行應(yīng)用系統(tǒng)代碼，然后當(dāng)需要處理神經(jīng)網(wǎng)絡(luò)工作負(fù)載時(shí)，該程序的命令流被放入SRAM中，向U55發(fā)出一個(gè)中斷，這里，開(kāi)始執(zhí)行這個(gè)命令流。”。“這可能是單一模型的單一推論。U55運(yùn)行完成，將結(jié)果返回SRAM，然后讓Cortex-M接管。也可能是在處理流式數(shù)據(jù)（可能是音頻或視頻）時(shí)連續(xù)運(yùn)行的情況。”

基于這些新核心的硅應(yīng)該在2021年初上市。

總結(jié)

以上是生活随笔為你收集整理的TinyML设备设计的Arm内核的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。