MaxCompute规格详解 让您花更低的成本获得更高的业务价值
精彩視頻回看請(qǐng)點(diǎn)擊:MaxCompute規(guī)格詳解
以下為精彩視頻內(nèi)容整理:
在用戶使用MaxCompute之前,都會(huì)考慮成本和業(yè)務(wù)兩大問(wèn)題。有些企業(yè)處在快速的發(fā)展期,在業(yè)務(wù)上對(duì)性能的要求比較高,例如計(jì)算業(yè)務(wù)對(duì)資源的需求是彈性的,要求峰谷明顯,一段時(shí)間對(duì)資源的要求非常高,另一段時(shí)間對(duì)資源的要求是比較低的,這種類型屬于業(yè)務(wù)優(yōu)先于成本。還有一些企業(yè)對(duì)預(yù)算有嚴(yán)格的要求,例如進(jìn)行合同制的企業(yè),在前期必須要有明確的預(yù)算,但對(duì)性能的要求不是很高,只需要在當(dāng)天能夠完成任務(wù)。基于以上兩大場(chǎng)景MaxCompute推出了一系列格和計(jì)費(fèi)方式。
服務(wù)模式
MaxCompute服務(wù)模式
MaxCompute的服務(wù)模式有兩種方式,按量計(jì)費(fèi)和包年包月。開(kāi)通MaxCompute相當(dāng)于對(duì)服務(wù)進(jìn)行注冊(cè),同時(shí)產(chǎn)生有協(xié)議的訂單,訂單成功后即可使用該服務(wù)。按量計(jì)費(fèi)是指整個(gè)訂單計(jì)費(fèi)模式都為使用之后再按量計(jì)費(fèi),包括計(jì)算、存儲(chǔ)、下載幾大塊主要功能。開(kāi)通時(shí)為0元開(kāi)通,開(kāi)通后若不使用則無(wú)費(fèi)用產(chǎn)生。包年包月是指訂單計(jì)費(fèi)模式為混合模式,計(jì)算資源是按包年包月進(jìn)行預(yù)付費(fèi),存儲(chǔ)和下載則為使用之后在按量計(jì)費(fèi)。開(kāi)通時(shí)需要預(yù)先對(duì)計(jì)算資源進(jìn)行付款。
MaxCompute計(jì)費(fèi)方式
MaxCompute費(fèi)用由三部分組成,存儲(chǔ)費(fèi)用、計(jì)算費(fèi)用和下載費(fèi)用。
- 存儲(chǔ)費(fèi)用按存儲(chǔ)的數(shù)據(jù)容量大小進(jìn)行階梯計(jì)費(fèi),包年包月套餐中有固定的存儲(chǔ)量,超出部分按量計(jì)費(fèi)。
- 計(jì)算費(fèi)用包含SQL任務(wù)、MapReduce任務(wù)、Lightning任務(wù)及Spark任務(wù)。
- SQL任務(wù)在按量付費(fèi)時(shí),如果是標(biāo)準(zhǔn)版,根據(jù)計(jì)算輸入數(shù)據(jù)量及SQL的復(fù)雜度進(jìn)行計(jì)算。如果是開(kāi)發(fā)者版,根據(jù)計(jì)算輸入量進(jìn)行計(jì)算。在購(gòu)買完包年包月的計(jì)算資源后,無(wú)需額外付費(fèi)。
- MapReduce任務(wù)在按量付費(fèi)時(shí),根據(jù)計(jì)算任務(wù)所消耗的計(jì)算時(shí)進(jìn)行計(jì)費(fèi)。在購(gòu)買完包年包月的計(jì)算資源后,無(wú)需額外付費(fèi)。
- Lightning任務(wù)是根據(jù)查詢輸入量進(jìn)行計(jì)算。
- Spark任務(wù)在按量付費(fèi)時(shí),根據(jù)計(jì)算任務(wù)所消耗的計(jì)算時(shí)進(jìn)行計(jì)算。在購(gòu)買完包年包月的計(jì)算資源后,無(wú)需額外付費(fèi)。
- 下載費(fèi)用按公網(wǎng)下載的流量進(jìn)行計(jì)費(fèi)。對(duì)上傳、內(nèi)網(wǎng)的下載不產(chǎn)生費(fèi)用。
規(guī)格介紹
按量計(jì)費(fèi)
按量計(jì)費(fèi)-標(biāo)準(zhǔn)版
按量計(jì)費(fèi)包括標(biāo)準(zhǔn)版和開(kāi)發(fā)者版,標(biāo)準(zhǔn)版的計(jì)算資源為極致的彈性計(jì)算資源,資源池為共享型,計(jì)算任務(wù)按需搶占,不可指定使用量也無(wú)使用限制。包括SQL(含UDF)、MapReduce、Spark、交互式分析(Lightning)、Graph等計(jì)算類型資源。存儲(chǔ)資源的資源池為共享型,按需存儲(chǔ),無(wú)使用限制。包括表(Table)和資源(Resource)等存儲(chǔ)。上傳、下載數(shù)據(jù)資源的資源池為共享型,按需搶占,不可指定用量也無(wú)使用限制。主要包括Tunnel的Upload、Download資源。
針對(duì)標(biāo)準(zhǔn)版的計(jì)費(fèi)說(shuō)明,計(jì)算資源(CU)收費(fèi)按各計(jì)算類型任務(wù)使用量計(jì)費(fèi)。當(dāng)前僅SQL、MR、Spark、交互式分析幾類計(jì)算任務(wù)有計(jì)費(fèi)。存儲(chǔ)收費(fèi)只收表(Table)存儲(chǔ)的容量費(fèi)用。且容量大小是壓縮后的數(shù)據(jù)。數(shù)據(jù)上傳、下載收費(fèi)指數(shù)據(jù)上傳至MaxCompute為免費(fèi);僅對(duì)通過(guò)公網(wǎng)下載進(jìn)行按量收費(fèi)。
按量計(jì)費(fèi)-開(kāi)發(fā)者版
開(kāi)發(fā)者版的計(jì)算資源資源池為共享型,計(jì)算任務(wù)按需搶占資源,不可指定使用量,只提供MaxCompute SQL(支持使用UDF)、PyODPS計(jì)算資源;一個(gè)region只能有一個(gè)項(xiàng)目選擇使用開(kāi)發(fā)者版資源;每個(gè)項(xiàng)目最大作業(yè)并發(fā)數(shù)為5個(gè);單作業(yè)最多只能占用10CU計(jì)算資源。存儲(chǔ)資源的資源池為共享型,按需存儲(chǔ)。每個(gè)項(xiàng)目最大存儲(chǔ)量限制在500GB(含臨時(shí)數(shù)據(jù)大小),超過(guò)500GB將無(wú)法存入。這兩個(gè)因素的限制使得開(kāi)發(fā)者版資源不適合作為生產(chǎn)資源。上傳、下載數(shù)據(jù)資源的資源池為共享型,按需搶占,不可指定用量也無(wú)使用限制。主要包括Tunnel的Upload、Download資源。
針對(duì)開(kāi)發(fā)者版的計(jì)費(fèi)說(shuō)明,計(jì)算資源(CU)收費(fèi):計(jì)算作業(yè)按照數(shù)據(jù)掃描量計(jì)費(fèi)。每個(gè)月贈(zèng)送價(jià)值100元的免費(fèi)計(jì)算量,即每月可免費(fèi)執(zhí)行掃描666GB數(shù)據(jù)的作業(yè)量,超出部分將按量計(jì)費(fèi)。存儲(chǔ)收費(fèi):每個(gè)項(xiàng)目空間可免費(fèi)且只能存儲(chǔ)500GB資源。數(shù)據(jù)上傳、下載收費(fèi):數(shù)據(jù)上傳至MaxCompute為免費(fèi);僅對(duì)通過(guò)公網(wǎng)下載進(jìn)行按量收費(fèi)。
包年包月
包年包月-標(biāo)準(zhǔn)計(jì)算資源
計(jì)算資源包含計(jì)算資源單元和非預(yù)留計(jì)算資源兩種。計(jì)算資源單元即為預(yù)留計(jì)算資源,是必選資源。資源池為獨(dú)享型,按購(gòu)買CU量固定分配資源。非預(yù)留計(jì)算資源為非必選資源,資源數(shù)量在[0,購(gòu)買量]區(qū)間內(nèi)且不可獨(dú)享。計(jì)算任務(wù)只能占用預(yù)留和非預(yù)留計(jì)算資源。資源可以執(zhí)行SQL(含UDF)、MapReduce、Spark、Graph等計(jì)算類型任務(wù)。存儲(chǔ)資源的資源池為共享型,按需存儲(chǔ),無(wú)使用限制。包括表(Table)和資源(Resource)等存儲(chǔ)。上傳、下載數(shù)據(jù)資源的資源池為共享型,按需搶占,不可指定用量也無(wú)使用限制。主要包括Tunnel的Upload、Download資源。
針對(duì)標(biāo)準(zhǔn)計(jì)算資源的計(jì)費(fèi)說(shuō)明,計(jì)算資源(CU)收費(fèi):服務(wù)開(kāi)通生成訂單時(shí)就需要預(yù)先付費(fèi),按CU量和購(gòu)買時(shí)長(zhǎng)進(jìn)行收費(fèi)。預(yù)留和非預(yù)留資源單價(jià)不一樣。存儲(chǔ)收費(fèi):只收表(Table)存儲(chǔ)的容量費(fèi)用。且容量大小是壓縮后的數(shù)據(jù)。數(shù)據(jù)上傳、下載收費(fèi):數(shù)據(jù)上傳至MaxCompute為免費(fèi);僅對(duì)通過(guò)公網(wǎng)下載進(jìn)行按量收費(fèi)。
包年包月-套餐版
針對(duì)計(jì)算資源,套餐中的預(yù)留計(jì)算資源為獨(dú)享資源,按購(gòu)買套餐固定分配計(jì)算資源。非預(yù)留計(jì)算資源為非必選資源,資源數(shù)量在[0,購(gòu)買量]區(qū)間內(nèi)且不可獨(dú)享。計(jì)算任務(wù)只能占用預(yù)留和非預(yù)留計(jì)算資源。資源可以執(zhí)行SQL(含UDF)、MapReduce、Spark、Graph等計(jì)算類型任務(wù)。存儲(chǔ)資源的資源池為共享型,按需存儲(chǔ),無(wú)使用限制。包括表(Table)和資源(Resource)等存儲(chǔ)。上傳、下載數(shù)據(jù)資源的資源池為共享型,按需搶占,不可指定用量也無(wú)使用限制。主要包括Tunnel的Upload、Download資源。
針對(duì)套餐版的計(jì)費(fèi)說(shuō)明,計(jì)算資源(CU)收費(fèi):服務(wù)開(kāi)通生成訂單時(shí)就需要預(yù)先付費(fèi),按套餐和購(gòu)買時(shí)長(zhǎng)進(jìn)行收費(fèi)。預(yù)留和非預(yù)留資源單價(jià)不一樣。存儲(chǔ)收費(fèi):只收表(Table)存儲(chǔ)的容量費(fèi)用。且容量大小是壓縮后的數(shù)據(jù)。每日按購(gòu)買的套餐提供固定的存儲(chǔ)量,超出的量另行計(jì)費(fèi)。數(shù)據(jù)上傳、下載收費(fèi):數(shù)據(jù)上傳至MaxCompute為免費(fèi);僅對(duì)通過(guò)公網(wǎng)下載進(jìn)行按量收費(fèi)。
包年包月-非預(yù)留計(jì)算資源
針對(duì)計(jì)算資源,資源數(shù)量為[0,購(gòu)買量]范圍內(nèi)的彈性資源池。購(gòu)買后系統(tǒng)不預(yù)留資源,任務(wù)發(fā)起后,系統(tǒng)會(huì)在總資源池?fù)屨疾⒎峙淇臻e資源。如果總資源池中空閑資源充足則可能為您分配所購(gòu)買的最大CU量;如果總資源池繁忙則可能為您分配0CU。MaxCompute可保障您購(gòu)買的非預(yù)留計(jì)算資源全天50%的計(jì)算力(一天計(jì)算力:資源數(shù)量*24小時(shí))。資源可以執(zhí)行SQL(含UDF)、MapReduce、Spark、Graph等計(jì)算類型任務(wù)。存儲(chǔ)資源的資源池為共享型,按需存儲(chǔ),無(wú)使用限制。包括表(Table)和資源(Resource)等存儲(chǔ)。上傳、下載數(shù)據(jù)資源的資源池為共享型,按需搶占,不可指定用量也無(wú)使用限制。主要包括Tunnel的Upload、Download資源。
針對(duì)非預(yù)留計(jì)算資源的計(jì)費(fèi)說(shuō)明,計(jì)算資源(CU)收費(fèi):服務(wù)開(kāi)通生成訂單時(shí)就需要預(yù)先付費(fèi),按CU量和購(gòu)買時(shí)長(zhǎng)進(jìn)行收費(fèi)。存儲(chǔ)收費(fèi):只收表(Table)存儲(chǔ)的容量費(fèi)用。且容量大小是壓縮后的數(shù)據(jù)。數(shù)據(jù)上傳、下載收費(fèi):數(shù)據(jù)上傳至MaxCompute為免費(fèi);僅對(duì)通過(guò)公網(wǎng)下載進(jìn)行按量收費(fèi)。
選擇和使用
計(jì)算資源的選擇
如何選擇生產(chǎn)計(jì)算資源,就要從計(jì)算資源需求的場(chǎng)景來(lái)考慮。對(duì)于極致的彈性計(jì)算資源需求,資源為按量計(jì)費(fèi)標(biāo)準(zhǔn)版,計(jì)算資源彈性使用,按量付費(fèi),其中SQL單價(jià)為0.3元/GB/1復(fù)雜度。規(guī)格優(yōu)勢(shì)在于資源不受限,峰值有保障,劣勢(shì)在于費(fèi)用不受控,目前有消費(fèi)監(jiān)控告警。對(duì)于重預(yù)算、重基線的場(chǎng)景需求,資源類型為包年包月預(yù)留計(jì)算資源,獨(dú)享計(jì)算資源,購(gòu)買后系統(tǒng)固定預(yù)留CU。包年包月標(biāo)準(zhǔn)版和套餐中的計(jì)算資源單元均為預(yù)留計(jì)算資源。其中標(biāo)準(zhǔn)版預(yù)留計(jì)算資源單價(jià)為150元/CU/月。規(guī)格優(yōu)勢(shì)在于資源獨(dú)享,預(yù)算可控,劣勢(shì)在于資源受限不利于超高峰值任務(wù)。
對(duì)于重預(yù)算、輕基線的場(chǎng)景需求,資源類型為包年包月非預(yù)留計(jì)算資源,預(yù)付彈性計(jì)算資源池,購(gòu)買后使用時(shí)可獲得[0,購(gòu)買量]的彈性資源,單價(jià)為40元/CU/月。資源優(yōu)勢(shì)在于價(jià)格低廉,預(yù)算可控,劣勢(shì)在于資源不可獨(dú)享,忙時(shí)不能保障峰值。
資源類型的使用
- 按量付費(fèi)使用
對(duì)于按量付費(fèi)中的計(jì)算資源使用,開(kāi)通按量計(jì)費(fèi)模式以后,就擁有了共享資源池的使用權(quán),同時(shí)創(chuàng)建一個(gè)或多個(gè)project,就可以指定的使用資源池。MaxCompute會(huì)分配共享資源池作為默認(rèn)資源組,創(chuàng)建MaxCompute project時(shí)只要選擇按量計(jì)費(fèi)模式,project都是綁定這個(gè)默認(rèn)公共資源組。當(dāng)project里發(fā)起task,則按需占用該資源池資源。它的優(yōu)勢(shì)在于使用靈活,無(wú)需對(duì)資源進(jìn)行管理,只需要按業(yè)務(wù)進(jìn)行項(xiàng)目規(guī)劃。重點(diǎn)提醒的是需要配置好相關(guān)消費(fèi)監(jiān)控告警,避免預(yù)料外的高額賬單。
對(duì)于按量付費(fèi)中的存儲(chǔ)資源使用,無(wú)使用限制,無(wú)需關(guān)注存儲(chǔ)資源,只需要按業(yè)務(wù)需求進(jìn)行數(shù)據(jù)存放。重點(diǎn)提醒的是管理好數(shù)據(jù)生命周期,存在多project時(shí),在滿足業(yè)務(wù)需求的同時(shí)集中存放數(shù)據(jù)。
- 包年包月預(yù)留資源使用
購(gòu)買預(yù)留計(jì)算資源時(shí),開(kāi)通包年包月模式,選擇“標(biāo)準(zhǔn)計(jì)算資源”,同時(shí)非預(yù)留計(jì)算資源為0;或者選擇3種套餐中的任何一種,同時(shí)非預(yù)留計(jì)算資源為0。
使用非預(yù)留計(jì)算資源時(shí),購(gòu)買包年包月計(jì)算資源后,系統(tǒng)默認(rèn)給分配一個(gè)資源組,其中只包含預(yù)留計(jì)算資源。可以在MaxCompute管家中創(chuàng)建二級(jí)quota組細(xì)分資源,如果不細(xì)分,則只有1中的默認(rèn)quota組。Project指定使用包年包月計(jì)算資源(默認(rèn)quota組)后,到MaxCompute管家指定具體quota組。Project中單個(gè)task按業(yè)務(wù)需求可通過(guò)quota tag功能指定到其他二級(jí)quota組執(zhí)行。
- 包年包月非預(yù)留資源使用
購(gòu)買非預(yù)留計(jì)算資源時(shí),當(dāng)前僅在國(guó)內(nèi)上海、北京、杭州、深圳4個(gè)region可購(gòu)買,其他地區(qū)的region沒(méi)有開(kāi)放。購(gòu)買時(shí)有兩種方式,組合購(gòu)買和單獨(dú)購(gòu)買,同時(shí)也要根據(jù)自己的業(yè)務(wù)需求購(gòu)買。
組合購(gòu)買,即標(biāo)準(zhǔn)計(jì)算資源或套餐購(gòu)買的同時(shí)加購(gòu)非預(yù)留計(jì)算資源。通過(guò)購(gòu)買100CU和300ECU后,系統(tǒng)默認(rèn)給分配一個(gè)資源組。可以在MaxCompute管家中創(chuàng)建二級(jí)quota組細(xì)分資源,一組為默認(rèn)100CU,另一組為300ECU。Project指定使用默認(rèn)quota組后,到MaxCompute管家指定具體quota組。Project中單個(gè)task按業(yè)務(wù)需求可通過(guò)quota tag功能指定到其他二級(jí)quota組執(zhí)行。如果沒(méi)有進(jìn)行細(xì)分,這種方式會(huì)優(yōu)先使用預(yù)留資源,通過(guò)細(xì)分預(yù)留資源可以進(jìn)行一些重要的任務(wù),非預(yù)留資源可以進(jìn)行一些峰值高、對(duì)性能要求不是很高的任務(wù)。
單獨(dú)購(gòu)買,即只購(gòu)買使用非預(yù)留計(jì)算資源。購(gòu)買300ECU后,默認(rèn)quota組中會(huì)有300ECU,project中的所有任務(wù)都會(huì)使用默認(rèn)quota組的計(jì)算資源。
所有的規(guī)格在不同的模式中都是可以切換使用的,比如剛開(kāi)始使用的是開(kāi)發(fā)者版,也可以切換成標(biāo)準(zhǔn)版來(lái)使用,但是不可以將標(biāo)準(zhǔn)版切換成開(kāi)發(fā)者版。使用包年包月時(shí),開(kāi)通后只能選擇一個(gè)規(guī)格,當(dāng)有需求時(shí)也可以通過(guò)升級(jí)和降配的頁(yè)面切換成另外的規(guī)格。Project創(chuàng)建時(shí),剛開(kāi)始選擇按量付費(fèi),在使用過(guò)程中也可以切換成包年包月資源,或者剛開(kāi)始選擇包年包月,在使用過(guò)程中也可以切換成按量付費(fèi)。
- 包年包月和按量計(jì)費(fèi)混合使用
在實(shí)際使用時(shí),也可以按業(yè)務(wù)需求,同時(shí)開(kāi)通兩種模式,混合使用。比如,任務(wù)的業(yè)務(wù)數(shù)據(jù)量很大但是時(shí)間要求不高,按量計(jì)費(fèi)不劃算可以使用包年包月資源慢慢執(zhí)行。再比如,任務(wù)需要重點(diǎn)保障時(shí)間,且峰值很高,包年包月按峰值數(shù)量購(gòu)買的話很多時(shí)間又閑置不劃算,買少了又不能保障峰值和時(shí)間,可以放到按量計(jì)費(fèi)資源執(zhí)行。
示例
案例一:MaxCompute按量計(jì)費(fèi)
如上圖所示,此案例的需求特點(diǎn)是業(yè)務(wù)處在需要快速發(fā)展階段,對(duì)數(shù)據(jù)基線要求高,集群利用率低,業(yè)務(wù)計(jì)算閑時(shí)占比大于50%,計(jì)算峰值是平均水位的大于2倍。這時(shí),推薦規(guī)格為按量付費(fèi),業(yè)務(wù)處在高速發(fā)展期,使用MaxCompute相比于IDC自建集群,可以省掉集群運(yùn)維成本,同時(shí)靈活的彈性資源可以滿足爆發(fā)式分析資源需求。
案例二:MaxCompute包年包月
此案例的需求特點(diǎn)是成本控制嚴(yán)格,特別關(guān)注低質(zhì)量SQL對(duì)計(jì)費(fèi)的影響,如果是預(yù)算合同制,通過(guò)按量不容易估算成本。在前期可評(píng)估每天平均作業(yè)量和數(shù)據(jù)量,計(jì)算峰值所需核數(shù)是平均水位的5倍,但對(duì)生產(chǎn)性能要求不高。這時(shí),推薦規(guī)格為包年包月的預(yù)留資源加非預(yù)留預(yù)付。如上圖所示,通過(guò)獨(dú)占計(jì)算資源和非預(yù)留系統(tǒng)搶占式計(jì)算資源的方式,以預(yù)留獨(dú)享計(jì)算資源保障重要業(yè)務(wù),非預(yù)留作為非保障業(yè)務(wù)峰值擴(kuò)充資源。
大家如果對(duì)MaxCompute有更多咨詢或者建議,歡迎掃碼加入 MaxCompute開(kāi)發(fā)者社區(qū)釘釘群,或點(diǎn)擊鏈接?申請(qǐng)加入。
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的MaxCompute规格详解 让您花更低的成本获得更高的业务价值的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 2020年软件工程现状:Python或将
- 下一篇: 唱吧基于 MaxCompute 弥补自建