谷歌Edge TPU：将机器学习引入边缘，撬动边缘计算/IOT大“地球”
近期，谷歌在Cloud Next會議上推出其最新產(chǎn)品，Edge TPU芯片和Cloud IOT Edge軟件，并將于10月推出Edge TPU開發(fā)套件。作為Cloud TPU的補充，目前Edge TPU僅用于推理，專為在邊緣運行TensorFlow Lite ML模型而設計。
Edge TPU芯片是谷歌邊緣計算“兩條腿”走路的重要支撐硬件，谷歌正在“兩手抓” -一手抓硬件，一手抓軟件 - 將數(shù)據(jù)分析和機器學習功能帶到邊緣網(wǎng)絡，甚至是個人物聯(lián)網(wǎng)（IoT）設備，以更好地處理越來越多的物聯(lián)網(wǎng)設備產(chǎn)生的數(shù)據(jù)。谷歌在邊緣計算邁出的第一步是將其Cloud IoT軟件平臺的功能擴展到邊緣網(wǎng)絡。第二步是推出Edge TPU微型芯片，芯片可集成到物聯(lián)網(wǎng)設備上，并在傳輸前處理設備收集的數(shù)據(jù)。
據(jù)IOT Google Cloud副總裁Injong Rhee稱，這些產(chǎn)品使谷歌成為唯一一家擁有集成軟件和定制硬件堆棧的云服務提供商，利用該芯片，許多計算無需全部發(fā)送到數(shù)據(jù)中心，可以直接在設備上進行，降低了成本和能耗方面的開銷，提高了效率。據(jù)悉，除自用外，谷歌Edge TPU也將提供給其他廠商使用，這將進一步把開發(fā)者鎖定在谷歌生態(tài)系統(tǒng)，或?qū)φ麄€智能云計算市場帶來巨大沖擊，進一步促進谷歌搶占邊緣計算市場的戰(zhàn)略。
在物聯(lián)網(wǎng)場景下，每個智能設備都會產(chǎn)生大量的數(shù)據(jù)，這意味著將有大量數(shù)據(jù)將被發(fā)送回數(shù)據(jù)中心。
例如，一輛自動駕駛汽車每天可能會產(chǎn)生4TB的數(shù)據(jù)，主要來自傳感器，但根據(jù)Vertiv全球邊緣和集成解決方案副總裁Martin Olsen的說法，其中96%的數(shù)據(jù)是真正有用的，最后4%的內(nèi)容是無需回傳到中央數(shù)據(jù)中心的。
如果Olsen的4%理論可以在網(wǎng)絡邊緣而不是在中央數(shù)據(jù)中心進行處理，那么這樣就可以減少帶寬需求，并且比將其發(fā)送到中央服務器處理更快。
邊緣計算可以在網(wǎng)絡邊緣對數(shù)據(jù)進行分類，將部分數(shù)據(jù)放在邊緣處理，從而減少到中央存儲庫的回程流量，這樣可以加快數(shù)據(jù)處理與傳送的速度，減少延遲，實現(xiàn)實時的數(shù)據(jù)處理。
從上可以看到，提前對海量數(shù)據(jù)進行分析與推理，按照分析結果對數(shù)據(jù)進行處理對邊緣計算至關重要。
如何對邊緣產(chǎn)生的網(wǎng)絡數(shù)據(jù)進行預測和分析呢？機器學習（Machine Learning，簡稱ML）提供了一條思路，機器學習主要研究的是如何使計算機能夠模擬人類的學習行為從而獲得新的知識和技能，并且重新組織已學習到的知識和和技能，使之在應用中能夠不斷完善自身的缺陷與不足。簡單來說，機器學習就是讓計算機從大量的數(shù)據(jù)中學習到相關的規(guī)律和邏輯，然后利用學習來的規(guī)律來預測以后的未知事物。將機器學習算法和預測分析應用于在網(wǎng)絡數(shù)據(jù)分析已不再罕見，Corvil Analytics、HPE、諾基亞和谷歌都有利用AI分析網(wǎng)絡數(shù)據(jù)的經(jīng)驗。
今年7月，制作收集網(wǎng)絡數(shù)據(jù)的Corvil Analytics設備的Corvil宣布了一款名為Intelligence Hub的新軟件產(chǎn)品。Intelligence Hub使用機器學習來發(fā)現(xiàn)異常，并從Corvil捕獲的網(wǎng)絡數(shù)據(jù)中提取業(yè)務相關信息。Corvil從通過設備的每個數(shù)據(jù)包中收集元數(shù)據(jù)并為其添加時間戳。Corvil還可以從數(shù)據(jù)包代理中提取數(shù)據(jù)包，也可以作為完整的數(shù)據(jù)包捕獲設備。Intelligence Hub從Corvil設備獲取源，并將機器學習算法和預測分析應用于網(wǎng)絡數(shù)據(jù)。機器學習算法建立正常行為的基線，然后可以監(jiān)視異常情況并發(fā)出警報。
2017年2月，HPE收購Niara公司，旨在提升網(wǎng)絡安全性。Niara是一個專注于用戶和實體行為分析（UEBA）的公司。將Niara的解決方案與HPE現(xiàn)有的Aruba ClearPass產(chǎn)品組合相結合，利用大數(shù)據(jù)分析和機器學習幫助企業(yè)更好地保護企業(yè)免受下一代網(wǎng)絡攻擊。通過這次新的收購，HPE顯然將自己定位為處于邊緣安全前沿的公司。同年9月，HPE Aruba在澳門威尼斯人劇院正式發(fā)布了Aruba 360 Secure Fabric產(chǎn)品。這款新產(chǎn)品是一個對網(wǎng)絡攻擊進行360度檢測及應對的安全框架，能夠幫助組織在當今的網(wǎng)絡威脅中減少潛在風險。其中Aruba IntroSpect高級版比標準版具備更多網(wǎng)絡安全功能，如威脅追蹤、搜索、深度取證。高級版包含了100多個兼具監(jiān)督學習與無監(jiān)督學習的機器學習模型，對數(shù)據(jù)包、流量、記錄、警報、終端、移動流量、云流量、物聯(lián)網(wǎng)流量進行分析、取證，提高了組織識別風險的效率。
2018年7月6日，諾基亞和中國移動建立聯(lián)合AI * 5G實驗室，以便在5G網(wǎng)絡中使用人工智能和機器學習進行進一步研究。中國上海 - 諾基亞和中國移動簽署了一份合約，以人工智能（AI）和機器學習的潛力，以優(yōu)化未來的網(wǎng)絡并實現(xiàn)新的Edge Cloud和5G服務。兩家公司將在中國杭州共同建立一個實驗室，開發(fā)使用諾基亞5G Future X架構驗證技術用例的演示系統(tǒng)，而中國移動將在場景選擇，需求確認，開放API標準化和解決方案定義方面領導研究。
據(jù)IDC估計，到2025年，互聯(lián)網(wǎng)設備產(chǎn)生的數(shù)據(jù)總量將超過40萬億字節(jié)。如前文所述，屆時，海量的數(shù)據(jù)及數(shù)據(jù)實時處理的特性，對數(shù)據(jù)處理的技術手段提出新的要求，而這正是高級數(shù)據(jù)分析和人工智能系統(tǒng)可以提供幫助的地方。在這些設備連接到網(wǎng)絡的點上（也稱為“邊緣”），引入人工智能進行智能實時決策將會帶來很多好處。
邊緣網(wǎng)絡中的人工智能意味著人工智能算法在硬件設備上進行局部處理。使用邊緣人工智能的設備無需連接即可正常工作、獨立處理數(shù)據(jù)并做出決策。邊緣人工智能允許實時操作，包括數(shù)據(jù)創(chuàng)建、決策和在毫秒間起作用的操作。邊緣人工智能將降低數(shù)據(jù)通信的成本，通過在本地處理數(shù)據(jù)，可以避免將大量數(shù)據(jù)存儲到云中的問題。隨著連接設備的爆炸性增長，以及對隱私/機密性、低延遲和帶寬限制的需求，云中的AI模型越來越需要在邊緣運行。
物聯(lián)網(wǎng)谷歌云副總裁Injong Rhee稱：“Edge TPU將以極低的成本和功率效率為您的嵌入式設備帶來大腦，而不會影響性能，”Rhee說。“我相信這將改變游戲規(guī)則。”
Edge TPU 及其配套軟件
Edge TPU
Edge TPU是專門設計的加速器芯片，用于在邊緣運行TensorFlow Lite機器學習模型。它能夠在較小的物理和功耗范圍內(nèi)提供高性能，可在邊緣部署高精度AI。Edge TPU可以在邊緣部署高質(zhì)量的機器學習推理。它增強了Google的Cloud TPU和Cloud IoT，以提供端到端（云到邊緣，硬件+軟件）基礎設施，促進客戶基于AI的解決方案的部署。
Edge TPU性能雖然遠不如一般 TPU，不過勝在功耗及體積大幅縮小，適合物聯(lián)網(wǎng)設備采用。Edge TPU可以自己運行計算，而不需要與多臺強大計算機相連，因此應用程序可以更快、更可靠地工作。它們可以在傳感器或網(wǎng)關設備中與標準芯片或微控制器共同處理AI工作。
Edge TPU有非常多的工業(yè)用例，例如預測性維護、異常檢測、機器視覺、機器人、語音識別等等。在制造業(yè)、內(nèi)部部署、醫(yī)療、零售、智能空間、交通等領域有廣泛應用。
Cloud IoT Edge
Cloud IoT Edge軟件將Google Cloud強大的數(shù)據(jù)處理和機器學習能力擴展到網(wǎng)關、照相機和終端設備，使物聯(lián)網(wǎng)應用更智能、更安全、更可靠。它允許在Edge TPU或基于GPU和CPU的加速器上執(zhí)行在Google Cloud中訓練的ML模型。Cloud IoT Edge可以運行在Android設備或基于Linux OS的設備上，其關鍵組件包括：
用于網(wǎng)關類設備（至少有一個CPU）的運行時，可以本地存儲、處理并從邊緣數(shù)據(jù)中獲取智能信息，同時與Cloud IoT平臺的其余部分進行無縫互操作。
Edge IoT Core運行時，可以更安全地將邊緣設備連接到云，支持軟件和固件的更新，并管理與cloud IoT Core的數(shù)據(jù)交換。
基于TensorFlow Lite的Edge ML運行時，使用預先訓練的模型執(zhí)行本地ML推理，顯著減少延遲并增加邊緣設備的通用性。由于Edge ML運行時接口使用了TensorFlow Lite，因此它可以在網(wǎng)關類設備中的CPU、GPU或Edge TPU上執(zhí)行ML推斷，也可以在終端設備（如攝像頭）中執(zhí)行ML推理。
最后，開發(fā)套件包括一個模塊系統(tǒng)（SOM），它結合了Edge TPU，NXP CPU，wi-fi和Microchip的安全元件，將在10月份提供給開發(fā)人員。
Google 云端物聯(lián)網(wǎng)產(chǎn)品管理負責人Antony Passemard 指出，“Edge TPU 是一種超低功耗的 ASIC 芯片，比 1 美分銅板還小，搭配 Cloud IoT Edge 軟件并針對 TensorFLow 機器學習模型優(yōu)化，如此一來部分計算就不需等待遠程服務器回應，直接在設備完成。Edge TPU 以極低成本讓設備產(chǎn)生計算力，并將改變現(xiàn)有的系統(tǒng)架構，使現(xiàn)代云計算能真正實用化。”
對企業(yè)而言，將機器學習帶到邊緣，企業(yè)可以獲得如下好處：
提高運營可靠性
由于可以本地存儲、處理并從邊緣的數(shù)據(jù)中獲取智能信息，因此用戶可以在內(nèi)部構建強大的物聯(lián)網(wǎng)解決方案，無需擔心間歇性云連接。這對于需要實時處理的視頻和音頻應用，或設備無法可靠連接到外部網(wǎng)絡或Internet的情況非常有用。
更快的實時預測
通過運行設備上的機器學習模型，帶有Edge TPU的Cloud IoT Edge可為關鍵物聯(lián)網(wǎng)應用提供比通用物聯(lián)網(wǎng)網(wǎng)關更快的預測，同時確保數(shù)據(jù)隱私和機密性。此外，Cloud IoT Edge和Edge TPU已經(jīng)過廣泛測試，可以本地運行開源參考模型，如MobileNet和Inception V3。
提高設備和數(shù)據(jù)的安全性
Cloud IoT Edge可以在邊緣設備上本地處理和分析圖像、視頻、手勢、音響和運動，無需將原始數(shù)據(jù)發(fā)送到云，然后等待響應。這種本地處理可滿足某些天特定行業(yè)的需求，并降低了數(shù)據(jù)隱私風險。Cloud IoT Edge使用JSON Web令牌對邊緣設備進行身份驗證，這樣私鑰就永遠不會離開設備。
行業(yè)人士評價
對于谷歌的Cloud IoT Edge和Edge TPU，業(yè)內(nèi)人士給予了積極的評價。
“我們的智能視覺檢測解決方案使我們能夠在LG各制造部門的工廠運營中提供更高的質(zhì)量和效率。借助Google Cloud AI，Google Cloud IoT Edge和Edge TPU，結合我們傳統(tǒng)的MES系統(tǒng)和多年的經(jīng)驗，我們相信智能工廠將變得越來越智能，”LG CNS首席技術官Shingyoon Hyun說。“通過智能視覺檢測，我們渴望創(chuàng)造一個更好的工作場所，提高產(chǎn)品質(zhì)量，每年節(jié)省數(shù)百萬美元。LG CNS技術結合Google Cloud AI和物聯(lián)網(wǎng)技術使這一切成為可能。”
“智能停車使我們的客戶無論在街道還是非街道情況下都能夠部署和管理無摩擦停車服務。我們非常高興能夠使用Cloud IoT Edge和Edge TPU為我們的客戶構建ML停車體驗， ”Smart Parking首席技術官John Heard說。”在Smart Parking，我們的使命是為每個解決方案用戶重新創(chuàng)造停車體驗。Cloud IoT Edge和Google Cloud IoT的引入使我們能夠以新的方式在我們的SmartSpot網(wǎng)關產(chǎn)品中實現(xiàn)這一承諾。“
IT市場觀察員CCS Insight的企業(yè)研究副總裁Nicholas McQuire表示，谷歌在物聯(lián)網(wǎng)和邊緣計算領域已經(jīng)落后于其他云計算巨頭，但由于邊緣計算市場仍處于起步階段，因此谷歌有足夠的時間可以趕上。谷歌可以幫助企業(yè)在邊緣進行機器學習，這對其他競爭者來說也是一大威脅。
2016年6月，Google透露了自己研發(fā)了一款在云端使用的專用AI芯片，TPU（Tensor Processing Unit），第一代TPU主要用于推理。后來Google公布了第二代TPU，用媒體的話說“…stoleNvidia’s recent Volta GPU thunder…”。TPU2.0既能做訓練也能做推理，從公布不多的細節(jié)來看，TPU2.0指標看起來很不錯，而且具有非常好的可擴展性，但是它并不對外銷售，只能以TPU Cloud的方式供大家使用。同年9月下旬，Google的軟件大神Jeff Dean參加了HotChip會議，他介紹了TPU和TPU2的情況，把它們作為新的計算生態(tài)中重要的一環(huán)。今天5月，谷歌在I/O大會上發(fā)布了TPU 3.0，性能進一步提升。
谷歌TPU1 A無散熱片 B有散熱片
谷歌TPU2
谷歌曾多次表示不會對外銷售TPU，而是將TPU與谷歌云Google Cloud Platform（GCP）和TensorFlow綁定，讓使用GCP和TF的用戶享受TPU帶來的計算優(yōu)勢。現(xiàn)在，Edge TPU則不同了。據(jù)CNBC報道，消費電子制造商LG正在一個顯示器玻璃檢測系統(tǒng)中測試谷歌Edge TPU，以更快地發(fā)現(xiàn)制造缺陷。據(jù)LG CNS集團CTO Shingyoon Hyun 表示，檢測精度從原來的約50％提高到了99.9％，這為下一步的廣泛商用奠定了基礎。
環(huán)顧周圍，其他“選手”其實也早已競相在物聯(lián)網(wǎng)、AI 及云端計算提出新解決方案。微軟將自己定位為邊緣計算的領先公司。他們專門推出了Azure IoT Edge，這是一個動態(tài)軟件平臺，可為邊緣設備提供云服務，使混合云和邊緣物聯(lián)網(wǎng)解決方案成為現(xiàn)實。微軟還宣布與高通建立合作伙伴關系，合作構建一個運行Azure IoT Edge的可視化人工智能開發(fā)人員工具包。
AWS發(fā)布了多項與物聯(lián)網(wǎng)相關的軟件服務，甚至為邊緣設備開發(fā)了自己的操作系統(tǒng)。AWS的邊緣計算平臺AWS Greengrass以機器學習推理支持的形式進行了改版，憑借Greengrass對機器學習的最新支持，客戶將能夠構建自己的DeepLens設備，并在邊緣進行推理。
IBM正在創(chuàng)建一種新的點對點網(wǎng)絡技術，使任何移動設備都可以直接與另一個移動設備進行通信而無需無線連接。他們與The Weather Company合作，將Mesh網(wǎng)絡警報帶到現(xiàn)場，即使沒有互聯(lián)網(wǎng)連接，也可以提供天氣信息警報。
相較于AWS或微軟Azure早已揭露物聯(lián)網(wǎng)邊緣計算布局，Google一直都只有Google Iot Core服務，作為物聯(lián)網(wǎng)云端管理之用，而沒有進一步切入邊緣計算市場，直到今年Next大會第二天，Google才正式公開了自家搶攻物聯(lián)網(wǎng)邊緣計算市場的武器-Cloud IoT Edge產(chǎn)品線，包括了Edge IoT Core和Edge ML兩個runtime組件。除了Edge IoT軟件之外，Google也同時推出了邊緣計算專用AI芯片Edge TPU，甚至還要在10月推出Edge TPU開發(fā)版，不只從軟件，也要從硬件端來搶攻物聯(lián)網(wǎng)邊緣計算市場。以TPU為契機，谷歌正在打造其物聯(lián)網(wǎng)和邊緣計算生態(tài)圈。谷歌正在與Arm，Harting，日立數(shù)據(jù)系統(tǒng)（Hitachi Vantara），新漢（Nexcom），諾基亞和恩智浦等制造商合作，希望普及至開發(fā)者社群，建立獨有的生態(tài)。Google 的野心不僅是在單一硬件持續(xù)突破，更傾向于提供完整終端服務體驗。可以想見，未來谷歌Edge TPU在邊緣計算、物聯(lián)網(wǎng)以及智能終端設備中的巨大使用空間，以及對物聯(lián)網(wǎng)芯片市場的沖擊。
總結
邊緣計算對網(wǎng)絡邊緣對數(shù)據(jù)進行分類，將部分數(shù)據(jù)放在邊緣處理，減少延遲，實現(xiàn)實時的數(shù)據(jù)處理。而機器學習可以用來優(yōu)化網(wǎng)絡性能，識別系統(tǒng)，設備和用戶的異常行為，識別安全威脅。谷歌將機器學習和芯片Edge TPU用于邊緣計算，對未來的邊緣市場或許是一個推動。
總結
以上是生活随笔為你收集整理的谷歌Edge TPU：将机器学习引入边缘，撬动边缘计算/IOT大“地球”的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 买农村旧房子需要多少钱一平方米的？
- 下一篇： 常州国五停止上牌时间？