滿足實時人工智能的計算需求

Meeting the computational needs of real-time AI

隨著實時服務浪潮日益成為日常生活的一部分，計算基礎設施正在經歷一場重大的轉變。從使用自然語言提供即時信息的智能個人助理到通過店內分析生成客戶購物行為信息的零售商，這些實時服務為服務提供商提供了巨大的市場機遇。

為了從這些服務中獲取價值，數據和見解需要立即訪問，并將主要通過支持人工智能的服務來驅動。作為回應，亞馬遜（Amazon）網絡服務（AWS）、微軟（Microsoft）、阿里巴巴（Alibaba）和SK電信（SK Telecom）等云計算巨頭正在開發提供這些服務的計算基礎設施。

數據中心運營商現在必須優化計算以滿足實時響應要求。因此，IT體系結構還必須處理變化的、快速發展的工作負載和算法，這些工作負載和算法主要由人工智能驅動，同時還必須不斷地將計算集成到存儲和網絡中。

就服務提供商而言，需要一個提供差異化和性能的基礎設施平臺，以提供吞吐量、低延遲和靈活的軟硬件堆棧，可以處理從遞歸神經網絡到長短期內存網絡的各種算法，基于apachespark集群計算框架的卷積神經網絡與查詢加速。

為了實現這種差異化，服務提供商正在構建自己的硬件和軟件堆棧。例如，AWS高級查詢加速器是一個具有定制軟件和可編程硬件堆棧的數據分析平臺。SK電信最近在一個定制的軟件和可編程硬件堆棧上開發了支持AI的語音和視頻分析。

下一波計算需要自適應，軟件和硬件融合，硬件和軟件都可編程，以實現實時性能、最大吞吐量、低延遲和電源效率。隨著實時解決方案的增長和人工智能的進步，日益復雜的工作負載和非結構化數據的爆炸式增長，數據中心正在發生轉變，重點放在計算、存儲和網絡的自適應加速上。

Real-time predictions

實時預測

學術研究人員正在利用高性能計算（HPC）作為解決世界上一些最復雜問題的途徑。加速洞察和大規模部署HPC需要驚人的原始計算能力、能源效率和適應性。

為了回答世界上最具挑戰性的科學問題，歐洲粒子物理實驗室（CERN）約20000名科學家組成的聯合體正試圖重建宇宙的起源。要做到這一點，研究人員必須突破技術的極限。

大型強子對撞機是世界上最大的粒子加速器。這個27公里長的環是由超導磁體組成的，能將粒子加速到以前前所未有的能量水平。每個質子每秒穿越光環11000次，接近光速。在環上每25納秒的四個不同點，質子碰撞。粒子探測器捕捉到碰撞的情況。

這個觸發器系統分兩層實現——第一個觸發器需要一個固定的、極低延遲的人工智能推理能力，每個事件大約3微秒。還需要大量的帶寬。

CPU和GPU不能滿足這些要求。因此，在地下100米處，卻被屏蔽在輻射區之外，是一個運行FPGA算法的網絡，旨在瞬間過濾產生的數據，識別出新的粒子子結構，作為暗物質和其物理現象存在的證據。這些FPGA運行經典和卷積神經網絡來接收和校準傳感器數據，執行跟蹤和聚類，運行機器學習對象識別和觸發函數，所有這些都是在格式化和傳輸事件數據之前進行的。結果是100納秒量級的極低延遲推斷。

Storage for Real-Time Analysis

用于實時分析的存儲

高速存儲的采用和對數據密集型應用程序性能要求的提高，造成了CPU、內存和存儲瓶頸。因此，焦點正從計算馬力轉移到通過計算存儲來處理數據。這對提高應用程序性能和整體基礎設施效率具有重要意義。

一個可行的解決方案是讓計算更接近數據。將數據分析與存儲集成可顯著減少系統級數據瓶頸，提高并行性，同時降低總體電源需求。這種方法吸引了IBM和Micron Technology等供應商，開發了加速存儲和計算存儲產品，在數據附近進行處理。三星電子（Samsung Electronics）推出了SmartSSD，以實現更接近閃存的高性能加速計算，同時克服CPU和內存的限制。三星的SmartSSD通過將智能推送到數據所在地，提高了速度和效率，并降低了運營成本。

Complex Networking

復雜網絡

隨著虛擬化計算和集裝箱化工作負載的出現，網絡變得更加復雜。由于這些環境的規模超出了單個服務器，必須采用復雜的覆蓋網絡。覆蓋網絡是使用包封裝的概念動態創建和維護的虛擬化系統。監督這種封裝會給操作系統或虛擬化內核增加負擔。當與傳統的網絡任務相結合時，這些方法消耗了服務器30%的原始CPU周期。

管理覆蓋網絡的一種常見方法是開放式交換機（OvS）協議。基于FPGA的SmartNICs（網絡接口卡）具有計算能力，可以從上述30%的開銷中卸載主機CPU。簡單地說，使用智能網卡處理OV的三臺服務器的計算能力相當于運行在標準NIC上的四臺服務器。

基于FPGA的SmartNICs還可以用于減輕通常在服務器CPU上執行的安全和加密任務。安全性以深度數據包檢查的形式出現，如果數據包構成威脅，就會導致數據包丟失。這種方法可以擴充甚至取代企業現在在其服務器上運行的傳統防火墻軟件。此外，SmartNIC可以輕松地卸載各種加密和解密任務。

New world order

世界新秩序

在實時服務的新時代，由于成本、功耗和CPU的擴展性，僅使用CPU或多核CPU滿足需求是不現實的。對于許多工作負載，將更多基于CPU的服務器投入到問題上根本無法提供所需的性能。

隨著摩爾定律逐漸停滯不前，下一代cpu幾乎沒有什么希望。因此，適應性強的計算加速器是一個可行的解決方案，有望滿足廣泛的計算需求，同時可擴展以幫助管理運營成本。

總結

以上是生活随笔為你收集整理的满足实时人工智能的计算需求的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。