AI 定义芯片!骁龙 8 Gen 3 / X Elite 平台解读:体验全面提升
前段時間,高通舉行了 2023 年驍龍峰會。本次峰會最受關注的看點莫過于面向 PC 打造的最強計算處理器驍龍 X Elite 平臺,以及第三代驍龍 8 移動平臺的發布。他們都是集終端側智能、頂級性能和能效于一體的強大產品。
和以往驍龍旗艦平臺發布后大家集中討論性能、討論功耗等不同,今年的驍龍 X Elite 平臺和第三代驍龍 8 移動平臺發布后,大家將更多討論的焦點集中在了 AI 上,事實上,這兩款產品都是專為 AI 打造、由 AI 賦能的強大平臺,第三代驍龍 8 移動平臺更是將 AI 注入整個平臺系統,并開啟生成式 AI 的新時代。
眾所周知,AI 對于人們生產、生活的影響正在肉眼可見地持續擴大和加深,這其中尤以生成式 AI 的火爆和快速應用為關鍵節點。它的發展進一步完善了人機交互的方式,特別是終端側生成式 AI 對于打造強大、快速、個性化、高效、安全和高度優化的體驗至關重要,而這些變革性的體驗,都將由 AI 賦能的芯片在底層驅動。
而這一切對于高通來說,并非一蹴而就,而是多年深耕后水到渠成的結果。
多年深耕演變,AI 已成驍龍平臺關鍵基礎能力
關注高通的朋友們相信都會發現,過去這些年,高通一直在強調驍龍移動平臺的 AI 能力,同時 AI 在驍龍移動平臺中扮演的角色也越來越重要,越來越多元。
但無論技術如何進化,應用如何豐富,總體來說他們一直堅持的方向就是:將具有強大算力的人工智能技術應用到終端上,推進終端側 AI 的發展。
比如早在 2007 年,高通就啟動了首個人工智能項目,那個時候,其實還是功能機的天下。經過近 10 年的積累以及成果取得,高通在 2015 年驍龍 820 處理器上正式融入了第一代人工智能引擎 Zeroth,在 CPU 上實現運行神經網絡。
當時的 AI 應用主要還是實現一些初級的功能,比如根據用戶拍攝的照片進行智能化分類,識別出實物和汽車的圖像,分別存儲在兩個不同的文件夾,方便用戶更好地管理拍攝的照片等。
2016 年,高通發布了驍龍神經處理引擎 SDK,而在 2017 年初,第二代人工智能引擎也隨著驍龍 835 的發布而問世。這一人工智能芯片推出后,智能手機開始進入智能相冊管理和人臉識別的時代,特別是人臉識別的應用,讓 AI 在智能終端上的存在感邁上了新臺階。
2018 年,隨著驍龍 845 移動平臺發布,高通第三代人工智能引擎 AI Engine 問世,這一代人工智能引擎中,高通開始引入 CPU、GPU 和 DSP 的異構并行計算,AI 算力性能方面相比上一代提升了 3 倍,這讓智能手機也能擁有強大頂級的 AI 算力支持。
2019 年,AI Engine 隨著驍龍 855 移動平臺來到第四代,能夠實現每秒超過 7 萬億次運算,讓 AI 在智能手機上有了更多元的應用,比如當時高通和網易合作利用 AI Engine 在部分驍龍移動平臺上加速有道實景 AR 翻譯功能,還有他們和騰訊合作借助驍龍神經處理 SDK 來進行終端側的實際應用,比如手機 QQ 的“高能舞室”功能等等。
2020 年驍龍 865 移動平臺中搭載了第五代 AI Engine,AI 性能相比上一代提升了 2 倍多,達到 15TOPS。強大的算力加持下 AI 在智能終端上的應用也擴展到了游戲、拍照、交互等領域。比如在影像領域,第五代 AI Engine 通過強大的 AI 能力作用于 Spectra 480 ISP ,對圖像數字信息進行去除噪點、高光抑制、暗光補償等眾多優化處理,讓當時眾多手旗艦手機的拍照表現,尤其是動態范圍表現有了質的提升。
接下來在驍龍 888 移動平臺中第六代 AI Engine 在性能上持續進化,也推動智能終端在影像、游戲等方面的體驗越來越出色。比如高通曾和 Snapchat 合作,利用 AI 模型增效工具包,量化他們的一系列 AI 鏡頭模型,以提高人臉識別的準確性和性能,還有可以在視頻中實現人像摳圖等等。
2021 年驍龍 8 Gen 1 移動平臺的第七代 AI Engine 實現了性能能效的雙翻倍,同時重點為終端攝像頭帶來了更智慧的感知能力,比如攝像頭人臉檢測更出色的自動對焦、自動曝光和自動白平衡(3A)與細節,還有當終端感應到有人在隔著用戶肩膀偷看手機,終端就會自動鎖屏。同時在驍龍 8 Gen 1 中高通還將 AI 技術融入到 Spectra ISP、以及調制解調器和射頻系統中,實現了實時人臉識別、 AI 天線調諧技術等能力。
而上一代驍龍 8 Gen 2 平臺更是 AI 無處不在,無論是影像、音頻、連接還是游戲等方面的體驗,都有 AI 的深度參與,同時“認知 AI”成為高通致力于推進的新方向、新階段,讓 AI 能夠從上下文、時間軸的維度去理解人類的認知情感,這無疑是具有里程碑性質的。
通過對驍龍平臺上 AI 技術和應用演進的回顧可以發現,AI 在終端體驗中的作用的確越來越關鍵和多元,從過去只偶爾出現在影像、情景感知等邊角的角色,逐漸發展到貫穿整個芯片所有關鍵領域,如今已然成為最關鍵基礎能力。
第三代驍龍 8 及驍龍 X Elite 宣告,移動芯片的 AI 時代已經到來
過去我們談“終端體驗”,大部分人的視線還是聚焦在 CPU 性能,視野更廣一些,很多人還會關注 GPU、ISP、音頻、5G、Wi-Fi 等能力,這些的確構成了我們更為全面的終端體驗。之前高通提出的集連接、AI、影像、音頻、游戲、安全六大支柱體驗于一芯的理念,為驍龍移動平臺帶來了全方位、幾乎沒有破綻和短板的移動體驗,這其中不可忽視的地方在于,六大支柱體驗的背后,有一個關鍵的底層驅動力,就是 AI。
而這次 2023 驍龍峰會讓我們看到,AI 正從底層的驅動力變成需要關注的焦點。在驍龍 8 Gen 3(第三代驍龍 8)和驍龍 X Elite 平臺上,高通將他們在終端側 AI 方面的技術領先性和領導力徹底貫注到兩大芯片平臺上,讓 AI 真正成為全方位變革終端體驗的“明星”。
比如在第三代驍龍 8 移動平臺上,AI Engine(高通 AI 引擎)發展到了第九代,并做了積極的革新,高通將過去的 Hexagon 張量加速器升級為 Hexagon NPU,從而可以協調整個平臺。同時 Hexagon NPU 本身也升級了新的微架構,整體性能提升 98%,能效提升了 40%。
同時驍龍 8 Gen 3 中高通在 Hexagon NPU 矢量單元和內存之間增加了直連通道,大大增強了 AI 運算的處理效率。同時傳感器中樞也得到了升級,擁有內存、兩個微型 NPU、Spectra DSP、雙 ISP 等不同模塊,可以隨時隨地提供高效的 AI 運算和處理。
在這些強大的升級加持下,驍龍 8 Gen 3 可以支持包括 Meta Llama 2 在內的多種生成式 AI 大模型,并已經能實現運行參數超過 100 億的大模型,每秒可執行多達 20 Token。通過在終端側運行這些強大的大型模型,用戶無需再完全依賴云端。
今年早些時候,高通全球首次利用 Stable Diffusion 進行圖像生成的終端側部署技術演示,該演示完全在終端側運行,用時不超過 15 秒。而通過第三代驍龍 8 運行這一模型僅需約 0.5 秒,強大的 AI 提升由此可見一斑。
在影像方面,驍龍 8 Gen 3 集成了三個感知 ISP,在強大的 AI 能力加持下,如今可以支持多達 12 層的語義分割,可以更精準地識別物體和場景。
同時它還支持視頻場景下的物體智能消除,超級夜景功能也不再局限于拍照,更可用于錄像,這兩種能力沒有強勁的 AI 支撐是很難實現的。
就連 5G 也融入了 AI 的能力。驍龍 8 Gen 3 集成了全球首個毫米波硬件(QTM565)與 Sub-6 硬件相融合的調制解調器驍龍 X75,同時也擁有首個專用硬件張量加速器,高通 5G AI 處理器第二代將 AI 性能提高 2.5 倍,這樣便可以更智能地選擇最佳頻率,以實現最佳連接。
而全新驍龍 X Elite 計算平臺,則搭載了異構的高通 AI 引擎,通過 NPU、CPU 和 GPU 能夠整體實現 75TOPS 的算力,相比 6 年前,其 AI 性能提高了 100 倍。
這其中,全新驍龍 X Elite 計算平臺搭載的 Hexagon NPU 算力可以達到 45 TOPS,在筆記本上運行 70 億參數的 Llama 2 模型時,能夠提供快速且準確的響應,處理速度則達到了 30 Tokens / s。
不僅如此,它還能完全在終端上運行超過 130 億參數的生成式模型,無需云端資源。這樣,生成式 AI 就能幫你起草完整的電子郵件、轉錄會議記錄,或者借助文本生成和圖像生成工具快速進行研討等。基于今年參數運行發展情況,相信未來的商用機上市時,能力有可能進一步更新。
這些事過去還智能在數據中心里實現,現在憑借驍龍 X Elite 計算平臺,同樣的事就可以在 PC 本地端進行。這正是基于高通多年的異構架構設計經驗,讓其成為現代 AI PC 的完美解決方案。
可見無論是第三代驍龍 8 還是全新的驍龍 X Elite 計算平臺,他們都是專為 AI 設計的、甚至可以說由 AI 定義的芯片平臺,并且在 AI 的定義下,他們的連接、影像、音頻、游戲、安全等支柱體驗都得到了令人欣喜的增強。
移動芯片平臺的“AI 時代”,已經到來。
AI 時代落地的最后一公里
當然,僅僅是芯片平臺本身邁入“AI 時代”還不夠,對于廣大用戶來說,這些 AI 能力必須轉化為實際落地的產品和應用,我們才算真正進入 AI 時代。而這些則離不開高通和開發者們在軟件、工具層面的緊密合作,乃至與生態合作伙伴們的密切配合。
比如針對第三代驍龍 8 平臺移動端生成式 AI 能力的落地,高通擁有專門面向邊緣側 AI 的領先軟件棧產品,高通 AI 軟件棧,能夠支持從軟件層面進行模型優化。通過高通 AI 軟件棧中算法、模型開發、 AI 模型增效工具包、編譯器、AI 引擎 Direct 等一系列工具,開發者們可以將他們想要實現的 AI 功能和體驗輕松引入終端。
而在終端以及應用層面,高通也與合作伙伴們有深入的合作。例如作為終端廠商的小米很早就明確了“AI 全面賦能”的戰略,在 AI 模型上,小米選擇將他們的大模型重點放在端側計算上做優化,在本次驍龍峰會上,他們展示了自研的 60 億參數大模型(6B 大模型)在驍龍 8 Gen 3 平臺上流暢運行。根據小米的介紹,他們運行于一個特殊的 NPU 之上,對 1000 tokens 的指令,只需 2.2 秒疾速生成首詞,這就是小米和高通深度合作取得的成果。
除了終端硬件廠商,高通也在與軟件廠商們合作推動生成式 AI 應用的落地,比如他們和國內的慧鯉科技,面向第三代驍龍 8 開發了一個神經網絡,能夠重構照片缺失的部分,即“照片擴充”,它能支持用戶對照片進行縮放,讓照片看起來具有廣角效果,即使并非用廣角鏡頭拍攝。
而對于驍龍 X Elite 計算平臺,在 PC 領域高通最重要的合作者莫過于微軟了,他們一直在和微軟工程團隊合作優化全新平臺的特性,微軟表示,絕大多數頂級應用都將以超快速度和能效在搭載驍龍 X Elite 計算平臺的 Windows PC 上原生運行或通過無縫仿真運行,特別是微軟自身的生產力應用,包括 Word, Excel, Powerpoint, Edge, Teams, OneDrive, OneNote 和 Outlook 都是原生的。
對于 Windows 11,微軟改進了 Windows Studio Effects、宣布推出 AI Library,在更新中為 Copilot 和 Paint 等收件箱應用程序中引入生成式 AI,還與諸如 Camo、Luminar Neo、WhatsApp 等進行合作,共同優化 Windows 平臺的生成式 AI 應用體驗,而這些大家也都將在驍龍 X Elite 計算平臺驅動的 Windows PC 上得以體驗。
此外面向開發者們,高通還和微軟合作,推出了 Windows Dev Kit 2023。這個工具包包含了面向驍龍平臺開發 Windows 應用程序所需的一切,全都匯集在一臺設備中,包括一些出色的開發者工具,例如 Visual Studio 和 Unity runtime 引擎,它們被原生移植到 Arm 平臺。還有 ONNX Runtime 與相關執行提供程序。這些都將助力開發人員制作具有強大 AI 功能的原生應用。
結語
最后,相信在高通及其合作伙伴們的努力下,不僅僅是移動芯片平臺走向 AI 時代,更重要的是我們移動生活的方方面面,也都將因為與 AI 的交融而變得更加美好。
特別是眼下,各行各業數智化轉型的進程正在全速推進,而站在多項關鍵技術和行業趨勢交匯點上的高通,必將厚積薄發,和全行業一起推動 AI 的融合發展與創新,改變我們體驗世界的方式,讓數智化的未來加快成為現實。
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時間,結果僅供參考,所有文章均包含本聲明。
總結
以上是生活随笔為你收集整理的AI 定义芯片!骁龙 8 Gen 3 / X Elite 平台解读:体验全面提升的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 高通全球高级副总裁钱堃:5G 和终端侧
- 下一篇: 宏碁推出 PAWBO 10.8 英寸平板