re:Invent大会第十年,亚马逊云科技推出了哪些底层自研技术
?
編輯 | 宋慧
出品 | CSDN云計(jì)算
頭圖 | 付費(fèi)下載于視覺(jué)中國(guó)
一轉(zhuǎn)眼, 亞馬遜云科技的云計(jì)算已經(jīng)推出了十五年,亞馬遜云科技的年度大會(huì) re:Invent 也舉辦到了第十年。
今年 re:Invent全球 大會(huì)上,亞馬遜云科技繼續(xù)向前,發(fā)布系列重磅的自研計(jì)算存儲(chǔ)底層技術(shù)、將云服務(wù)拓展至太空數(shù)據(jù)服務(wù)、用 AI 機(jī)器學(xué)習(xí)驅(qū)動(dòng)數(shù)據(jù)分析與應(yīng)用、用 API 低代碼去降低云計(jì)算門(mén)檻、低碳等等。從全球云計(jì)算巨頭的舉措,我們能窺見(jiàn),云在走向全面而融合的趨勢(shì)。
自研第三顆 CPU Graviton 3、固態(tài)硬盤(pán) Nitro,投身挖掘硬件性能技術(shù)前沿
現(xiàn)在,國(guó)內(nèi)外云計(jì)算、互聯(lián)網(wǎng)巨頭,都在重點(diǎn)投入底層基礎(chǔ)設(shè)施的硬件技術(shù)研發(fā)。今年 re:Invent 大會(huì)上,亞馬遜云科技就發(fā)布了新一代基于 Arm 的自研 CPU 處理器 Amazon Graviton3,這已經(jīng)是亞馬遜云科技自研設(shè)計(jì)的第三顆 CPU 處理器。由 Amazon Graviton3 處理器支持的 C7g 實(shí)例與由 Graviton2 處理器支持的當(dāng)前一代 C6g 實(shí)例相比,可將計(jì)算密集型工作負(fù)載性能提高多達(dá) 25%。Amazon Graviton3 處理器與 Graviton2 相比,為科學(xué)計(jì)算、機(jī)器學(xué)習(xí)和媒體編碼工作負(fù)載提供高達(dá) 2 倍的浮點(diǎn)運(yùn)算性能,為加密工作負(fù)載速度提升高達(dá) 2 倍,為機(jī)器學(xué)習(xí)工作負(fù)載提供高達(dá) 3 倍的性能。
亞馬遜云科技還發(fā)布了采用全新 Amazon Nitro SSD 固態(tài)硬盤(pán)的 Im4gn/Is4gen/ I4i 實(shí)例,可為 I/O 密集型工作負(fù)載提供超高存儲(chǔ)性能。通過(guò)自研的 Amazon Nitro SSD,Im4gn/Is4gen/I4i 實(shí)例提供高達(dá) 30 TB 的 NVMe 存儲(chǔ),與上一代 I3 實(shí)例相比,I/O 延遲降低了 60%,延遲可變性降低了 75%,從而最大限度地提高了應(yīng)用程序性能。Amazon Nitro SSD 通過(guò)優(yōu)化存儲(chǔ)堆棧、虛擬化管理程序和硬件與 Amazon Nitro 系統(tǒng)緊密集成。與使用商用 SSD 相比,亞馬遜云科技同時(shí)管理 Amazon Nitro SSDs 的硬件和固件,使 SSD 更新交付速度更快,讓客戶可以從改進(jìn)的功能中獲益。Im4gn 實(shí)例(現(xiàn)已可用)采用 Amazon Graviton2 處理器,與 I3 實(shí)例相比,性價(jià)比提高多達(dá) 40%,每 TB 存儲(chǔ)成本降低多達(dá) 44%。Is4gen 實(shí)例(現(xiàn)已可用)也采用 Amazon Graviton2 處理器,與 I3en 實(shí)例相比,每 TB 存儲(chǔ)成本降低多達(dá) 15%,計(jì)算性能提高多達(dá) 48%。
另外,去年 re:Invent 亞馬遜云科技宣布研制機(jī)器學(xué)習(xí)訓(xùn)練芯片 Amazon Trainium,在今年的 re:Invent 上也發(fā)布了基于 Trainium 的實(shí)例。由 Amazon Trainium 芯片支持的 Trn1 實(shí)例為在 Amazon EC2 中進(jìn)行深度學(xué)習(xí)模型訓(xùn)練提供最佳性價(jià)比以及最快的訓(xùn)練速度,與 P4d 實(shí)例相比,通過(guò) Trn1 實(shí)例訓(xùn)練深度學(xué)習(xí)模型的成本降低多達(dá) 40%。Trn1 實(shí)例提供 800Gbps EFA 網(wǎng)絡(luò)帶寬(比最新基于 GPU 的 EC2 實(shí)例高兩倍),并與 Amazon FSx for Lustre 高性能存儲(chǔ)集成,讓客戶可以啟動(dòng)具有 EC2 UltraClusters 功能的 Trn1 實(shí)例。通過(guò) EC2 UltraClusters,開(kāi)發(fā)人員可以將機(jī)器學(xué)習(xí)訓(xùn)練擴(kuò)展到一萬(wàn)多個(gè)與 PB 級(jí)網(wǎng)絡(luò)互連的 Trainium 加速器,讓客戶按需訪問(wèn)超算級(jí)性能,即便是最大型和最復(fù)雜的模型,訓(xùn)練時(shí)間也可以從幾個(gè)月縮短到幾天。
云的服務(wù)還能用在哪里?到太空去
其實(shí)不僅亞馬遜云科技,其他國(guó)內(nèi)外的云巨頭也都在與各類太空衛(wèi)星研究機(jī)構(gòu)、服務(wù)商展開(kāi)合作,將云服務(wù)拓展到太空領(lǐng)域。Amazon Ground Station 就是亞馬遜云科技的衛(wèi)星地面站服務(wù),通過(guò)衛(wèi)星地面站接收數(shù)據(jù)到亞馬遜云科技區(qū)域進(jìn)行處理。接著,Amazon Outposts 將亞馬遜云科技的云體驗(yàn)延伸到客戶的本地?cái)?shù)據(jù)中心,與云端無(wú)縫連接。IoT 服務(wù)、Snowball 家族將云的能力延伸到地球上各個(gè)角落。?
另外亞馬遜云科技推出新的托管服務(wù) Amazon ?Private 5G,則是讓企業(yè)方便利用 5G 專網(wǎng)來(lái)連接企業(yè)內(nèi)的聯(lián)網(wǎng)傳感器和邊緣設(shè)備,并且通過(guò)亞馬遜云科技控制臺(tái)統(tǒng)一管理。
亞馬遜云科技還發(fā)布了新服務(wù) Amazon Cloud WAN,將亞馬遜云科技全球網(wǎng)絡(luò)的優(yōu)勢(shì)帶給企業(yè),讓企業(yè)的廣域網(wǎng)跟云融為一體。Amazon Cloud WAN 讓企業(yè)可以在全球的亞馬遜云科技廣域網(wǎng)絡(luò)上建立、管理統(tǒng)一的云網(wǎng)絡(luò)和監(jiān)控全球流量。所有的遠(yuǎn)程用戶和站點(diǎn)以及數(shù)據(jù)中心將使用 虛擬專網(wǎng) 或直接連接到地理位置最近的地方,實(shí)際上在幾分鐘內(nèi)亞馬遜云科技就可以構(gòu)建一個(gè)全球化網(wǎng)絡(luò)服務(wù)。
回到云的基礎(chǔ)設(shè)施實(shí)力,亞馬遜云科技基礎(chǔ)設(shè)施遍及 25 個(gè)地理區(qū)域的 81 個(gè)可用區(qū),并計(jì)劃新建 9 個(gè)區(qū)域和 27 個(gè)可用區(qū),有 14 個(gè)本地?cái)U(kuò)展區(qū)域、17 個(gè) Wavelength 區(qū)域,有 108 個(gè) Direct Connect 光纖直連站點(diǎn),有 310 個(gè)邊緣站點(diǎn)和 13 個(gè)區(qū)域緩存站點(diǎn)。在此基礎(chǔ)上,亞馬遜云科技宣布,2022 年將在 21 個(gè)國(guó)家建設(shè)超過(guò) 30 個(gè)本地?cái)U(kuò)展區(qū),讓客戶以更低的延遲服務(wù)其終端用戶。亞馬遜云科技 2020 年開(kāi)始在美國(guó)建立了兩個(gè)本地?cái)U(kuò)展區(qū),2021 年增加了 12 個(gè)本地?cái)U(kuò)展區(qū)。2022 年,建立本地?cái)U(kuò)展區(qū)的步伐將進(jìn)一步加大。
用機(jī)器學(xué)習(xí),驅(qū)動(dòng)云上海量非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用與創(chuàng)新
在 re:Invent 全球大會(huì)上,亞馬遜機(jī)器學(xué)習(xí)副總裁 Swami Sivasubramanian 的主題演講以《如何通過(guò)數(shù)據(jù)與人工智能進(jìn)行創(chuàng)新》為題。Swami 指出,“數(shù)據(jù)是推動(dòng)洞察的潛在力量,有助于更好地開(kāi)展業(yè)務(wù)。”他列舉了飛利浦醫(yī)療、納斯達(dá)克等多種大數(shù)據(jù)的例子,”從大數(shù)據(jù)走向海量非結(jié)構(gòu)化數(shù)據(jù),事實(shí)上 80%的數(shù)據(jù)是非結(jié)構(gòu)化的。”
在豐富的數(shù)據(jù)服務(wù)組合之上,今年大會(huì)上亞馬遜云科技又發(fā)布多個(gè)數(shù)據(jù)工具:
Amazon DevOps Guru for RDS 是一個(gè)數(shù)據(jù)庫(kù)性能工具,它利用機(jī)器學(xué)習(xí),可以在幾分鐘內(nèi)自動(dòng)檢測(cè)、診斷和解決難以發(fā)現(xiàn)的數(shù)據(jù)庫(kù)性能問(wèn)題。
Amazon RDS Custom 提供了 SQL Server 支持,它通過(guò)托管式服務(wù)節(jié)省時(shí)間,幫助實(shí)現(xiàn)自動(dòng)化版本維護(hù)與補(bǔ)丁升級(jí),將寶貴的資源專注于更重要的業(yè)務(wù)。
Amazon Dynamodb 的新功能 Standard-Infrequent Access 表類,它可以將不頻繁訪問(wèn)的表數(shù)據(jù)進(jìn)行分類,DynamoDB 的存儲(chǔ)成本降低 60%。
Amazon Database Migration Service Fleet Advisor 是一個(gè)數(shù)據(jù)庫(kù)遷移工具,它可以幫助客戶選擇最佳可用的計(jì)算實(shí)例和配置,用以部署機(jī)器學(xué)習(xí)模型,獲得最佳的推理性能和成本,并且將過(guò)去數(shù)周才能完成的工作縮短到數(shù)小時(shí)。
本次 re:Invent,亞馬遜云科技機(jī)器學(xué)習(xí)平臺(tái) Amazon SageMaker 又添六項(xiàng)新功能。
亞馬遜云科技新推出的 Amazon SageMaker Ground Truth Plus,讓用戶無(wú)需編寫(xiě)任何代碼即可快速交付高質(zhì)量的訓(xùn)練數(shù)據(jù)集。數(shù)據(jù)是機(jī)器學(xué)習(xí)的燃料。不過(guò),準(zhǔn)備數(shù)據(jù)的過(guò)程令人沮喪甚至令人憤怒。有了這項(xiàng)新功能,極大地解決了數(shù)據(jù)科學(xué)家準(zhǔn)備數(shù)據(jù)的痛點(diǎn)問(wèn)題。
在模型構(gòu)建與算法編寫(xiě)環(huán)節(jié),新推出的 Amazon SageMaker Studio Notebook 允許用戶訪問(wèn)廣泛的數(shù)據(jù)源,在一個(gè)記事本中執(zhí)行數(shù)據(jù)工程、分析和機(jī)器學(xué)習(xí)工作流。
新推出的 Training Compiler 模型訓(xùn)練編譯器,讓機(jī)器學(xué)習(xí)模型培訓(xùn)速度提高 50%。Inference Recommender 模型推理推薦程序,可將部署時(shí)間從數(shù)周減少到數(shù)小時(shí)。Serverless Inference 無(wú)服務(wù)器推理,通過(guò)按使用付費(fèi)的定價(jià)降低擁有成本。
API、低代碼,降低云計(jì)算使用者開(kāi)發(fā)門(mén)檻
其實(shí)亞馬遜云科技的每一個(gè)云服務(wù),從第一天誕生起,API 就無(wú)處不在,例如計(jì)算服務(wù) Amazon EC2 是 API,存儲(chǔ)的 Amazon S3 也是 API,再比如創(chuàng)建網(wǎng)絡(luò)拓?fù)洹?chuàng)建數(shù)據(jù)庫(kù)資源、起停關(guān)這些操作,都是通過(guò) API 來(lái)實(shí)現(xiàn)的。
為了幫助客戶最大限度實(shí)現(xiàn)數(shù)據(jù)價(jià)值,亞馬遜云科技千方百計(jì)降低數(shù)據(jù)使用的門(mén)檻。無(wú)論是開(kāi)發(fā)人員、運(yùn)維人員、數(shù)據(jù)科學(xué)家、行業(yè)用戶,還是即將進(jìn)入云計(jì)算行業(yè)的初學(xué)者,亞馬遜云科技都在不斷推出新的服務(wù)和功能,降低他們的使用門(mén)檻。
對(duì)于微服務(wù)化應(yīng)用的開(kāi)發(fā)者,Amazon App Runner 將底層使用 Fargate、ALB 和 Route 53 等服務(wù)能力封裝,讓開(kāi)發(fā)者更容易去部署。通過(guò) App Runner,開(kāi)發(fā)者可以快速、大規(guī)模實(shí)現(xiàn)通過(guò)代碼或者容器鏡像的方式,部署一套線上可用、可輕松擴(kuò)展的應(yīng)用。
Amplify 是亞馬遜云科技針對(duì) Java 等前端框架的開(kāi)發(fā)人員的全棧開(kāi)發(fā)需求,將 亞馬遜云科技底層能力,如調(diào)用云原生數(shù)據(jù)存儲(chǔ) Amazon DynamoDB 以及身份認(rèn)證服務(wù) Amazon ?Cognito 等封裝,降低了對(duì)于后端服務(wù)邏輯沒(méi)有開(kāi)發(fā)概念或者沒(méi)有相應(yīng)技能的前端人員,通過(guò)前端技術(shù)去開(kāi)發(fā)整個(gè)后端服務(wù)。另外亞馬遜云科技還最新推出了 Amazon Amplify Studio,讓前端開(kāi)發(fā)人員以低代碼的方式,在手機(jī)端、web 端實(shí)現(xiàn)端到端的,包括 UI、包括后端業(yè)務(wù)邏輯創(chuàng)建的能力。
為了讓運(yùn)營(yíng)人員更加輕松,亞馬遜云科技今年帶來(lái)了 RDS 的 DevOps Guru,以及四個(gè)無(wú)服務(wù)器的分析服務(wù)、Amazon Redshift ML、Amazon Canvas、Amazon QuickSight Q 等等,讓業(yè)務(wù)人員更加輕松,不用求人就可以自己做數(shù)據(jù)分析,甚至做機(jī)器學(xué)習(xí)。亞馬遜云科技還針對(duì)特定的行業(yè),如制造業(yè)、汽車(chē)行業(yè)分別推出了數(shù)字孿生、Amazon IoT TwinMaker 以及為車(chē)聯(lián)網(wǎng)數(shù)據(jù)更好傳輸?shù)?Amazon IoT FleetWise。
除了多項(xiàng)技術(shù)開(kāi)發(fā)與云服務(wù)的技術(shù),在低碳環(huán)保方面,為了應(yīng)對(duì)氣候危機(jī),由亞馬遜和 Global Optimism 共同發(fā)起了《氣候宣言》,呼吁簽約各機(jī)構(gòu)采取緊急行動(dòng),在 2040 年前實(shí)現(xiàn)凈零碳排放,提前十年達(dá)成《巴黎協(xié)定》目標(biāo)。亞馬遜以身作則,承諾到 2030 年 100% 使用可再生能源為公司運(yùn)營(yíng)提供動(dòng)力。大會(huì)上,亞馬遜將計(jì)劃再次提速,希望到 2025 年實(shí)現(xiàn)這一目標(biāo)。
從今年的 re:Invent 大會(huì),我們能看到,云上的一切,亞馬遜云科技都在有條不紊的推進(jìn)。云上已經(jīng)全面融合了數(shù)據(jù)、AI 等應(yīng)用與創(chuàng)新的事務(wù),而云計(jì)算巨頭也在承擔(dān)更多社會(huì)責(zé)任。所有這些之上,技術(shù)也將更加穩(wěn)步向前,值得期待。
總結(jié)
以上是生活随笔為你收集整理的re:Invent大会第十年,亚马逊云科技推出了哪些底层自研技术的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 边缘应用增长 800%,听听 Akama
- 下一篇: Alluxio:2022年大数据五大趋势