精彩視頻回顧請點擊：MaxCompute管家詳解
以下是直播內(nèi)容精華整理，主要包括以下四個方面：
1.背景速覽；
2.功能介紹；
3.案例講解；
4.新功能預(yù)告。

?

一、背景速覽

MaxCompute（原ODPS）是一項大數(shù)據(jù)計算服務(wù)，它能提供快速、完全托管的PB級數(shù)據(jù)倉庫解決方案，使用戶可以經(jīng)濟并高效的分析處理海量數(shù)據(jù)。在購買了MaxCompute之后會有相當(dāng)多而繁瑣的管理和維護工作，比如如何對項目進行更精細化的管理、如何將項目與配額進行關(guān)聯(lián)等等，而MaxCompute管家可以幫助用戶更好地完成這些工作，它是一個為用戶提供作業(yè)信息查看、資源消耗查看（涵蓋CU資源和存儲資源）、項目查看及調(diào)整、配額組增刪改查等涉及日常MaxCompute運維能力的管理平臺。
目前，全球包括美國、英國、德國、印度、日本、新加坡在內(nèi)的18個國家或地區(qū)（詳情見官網(wǎng)）購買了數(shù)加并購買MaxCompute”包年包月“的用戶（后期也會支持購買MaxCompute“按量付費“的用戶）可以使用MaxCompute管家功能，且已經(jīng)支持英文界面。MaxCompute管家的入口有兩個：（1）管理控制臺（圖1）和（2）數(shù)加控制臺（圖2）。需要注意的是從管理控制臺和數(shù)加控制臺進入MaxCompute管家頁面時候需要先選擇正確的MaxCompute對應(yīng)區(qū)域。

?

圖 1 MaxCompute管家入口1：管理控制臺

圖 2 MaxCompute管家入口1：管理控制臺

二、功能介紹

當(dāng)前，管家主要針對MaxCompute中項目、配額以及作業(yè)三個核心模塊來提供相應(yīng)的支持。
（一）項目
在項目列表頁面可查看當(dāng)前用戶具備的預(yù)付費project的所有相關(guān)信息，包括項目名稱、所屬dataworks工作空間、賬號、配額組、已用存儲、project默認預(yù)付費quota組調(diào)整，如圖3所示。這里需要注意項目名稱和所屬dataworks工作空間是兩個概念，不要混淆了。在項目列表頁面點擊項目名稱會跳轉(zhuǎn)到存儲使用趨勢的頁面來查看項目存儲使用的相關(guān)情況，并且支持按時段搜索，在存儲水位曲線中還可以查看具體到某一個時段的詳情（最近1小時、最近6小時、最近12小時、最近1天、最近1周，存儲量每1個小時采集一次）；賬號是指項目所屬的一個訪問身份；點擊配額組可以查看相應(yīng)的配額使用情況，在后面會重點進行介紹。除了以上操作之外，管家還提供了一個對項目配額組進行修改的操作，用戶可以對項目所屬的配額組進行修改，更加方便管理。在將項目遷移到新的配額組之后，如果原來的配額組沒有被刪除，那么項目會沿用原來的配額組進行作業(yè)，如果已經(jīng)被刪除，就會使用新的配額組進行作業(yè)，以此來達到資源的最大化利用。

?

圖 3 項目列表頁面

（二）配額
配額管理是MaxCompute的資源管理中的重點也是難點，面對不同的業(yè)務(wù)需求，用戶也有不同的配額管理方式。配額組有4個比較重要的配置參數(shù)，具體如下：
（1）預(yù)留CU最小配額：單個quota組分配資源的下限。
（2）預(yù)留CU最大配額：單個quota組分配資源的上限。
（3）非預(yù)留CU最大配額：單個quota組可使用彈性資源的上限。
（4）配額組標(biāo)簽：標(biāo)簽主要是用于指定作業(yè)的配額組，如果您的包年包月資源組設(shè)置多個二級Quota組，可以在提交作業(yè)的時候，指定作業(yè)運行的Quota組，可以與project所屬Q(mào)uota組不同。這樣設(shè)置，能夠更加靈活的設(shè)置和使用您的計算資源。大家也可以根據(jù)具體情況靈活設(shè)置標(biāo)簽。
在配額列表頁面，可查看當(dāng)前用戶具備的預(yù)付費project的相關(guān)信息，包括配額組、CU最小配額、CU最大配額、彈性CU最大配額、配額組標(biāo)簽、涵蓋項目個數(shù)、最近一次配額組操作狀態(tài)等，如圖4所示。

?

圖 4 配額列表頁面

點擊配額組中的某一配額組名稱，會跳轉(zhuǎn)到相應(yīng)的頁面，里面可以查看對應(yīng)的資源使用情況，比如預(yù)留CU資源使用趨勢和非預(yù)留CU資源使用趨勢，如圖5所示，我們也可以查看不同時段的資源使用情況。除此之外，還可以查看該配額組所包含的項目列表，該處項目列表的詳情如上文中圖3所示的一樣，也可以進行相應(yīng)的操作。

?

圖 5 配額組詳情

對配額組的操作主要有新建配額組、修改配額組和刪除配額組。
（1）新建配額組
在新建配額組的是時候修改預(yù)留CU最小配額、預(yù)留CU最大配額、非預(yù)留CU最大配額以及標(biāo)簽，單擊執(zhí)行，完成修改即可。這里我們可以根據(jù)自己業(yè)務(wù)的需求來給配額組設(shè)置相應(yīng)的名稱。
（2）修改配額組
修改配額組的時候可以修改預(yù)留CU最小配額、預(yù)留CU最大配額、非預(yù)留CU最大配額以及標(biāo)簽，然后單擊執(zhí)行，即可完成修改。需要注意的是非預(yù)留CU最大配額即為包年包月里的非預(yù)留計算資源，此功能僅中國站用戶可以使用。另外，這里需要需要注意的時候，配額組的名稱一旦建立就不能修改。
（3）刪除配額組
刪除功能相對比較簡單，就是在配額組不需要的時候刪除相應(yīng)的配額組即可。但是需要注意，處于安全考慮，沒有涵蓋項目的配額組可刪除，刪除后的配額會歸還至默認配額組，而如果配額組的涵蓋項目數(shù)不為0，那么是無法刪除的。
（三）作業(yè)
在作業(yè)模塊中，我們支持當(dāng)前的作業(yè)快照，因此在默認狀態(tài)下，進入作業(yè)快照列表的時候，展示的是當(dāng)前的狀態(tài)。在作業(yè)列表頁面，可以查看當(dāng)前用戶指定配額組下所有作業(yè)情況，包括InstanceID、賬號、項目名稱、cpu使用占比(%)、內(nèi)存使用占比(%)、提交時間、等待時長、運行時長、運行狀態(tài)，作業(yè)快照每2分鐘采集1次。如果需要了解更多的關(guān)于作業(yè)的運行情況，可以點擊InstanceID查看對應(yīng)的LogView，它與作業(yè)是一對一的關(guān)系，具體的可以查看官網(wǎng)關(guān)于LogView的說明。一般在需要對資源使用進行詳細了解以優(yōu)化資源配置的時候，我們可以查看某一個作業(yè)的資源使用情況，做到心中有數(shù)，也方便對資源配置進行優(yōu)化。

?

圖 6 作業(yè)列表頁面

三、案例講解

在上文的基礎(chǔ)上，下面通過案例來進行具體分析如何更好的使用現(xiàn)有的功能來分配和管理資源，讓資源得到更有效的利用。首先，我們需要了解幾個關(guān)于配額的規(guī)則：
（1）預(yù)留CU最大配額配置規(guī)則：單個子組的最大CU要小于等于默認資源組的最大CU；
（2）預(yù)留CU最小配額配置規(guī)則：所有子組的最小CU之和要小于等于默認資源組的最小CU；
（3）非預(yù)留CU最大配額配置規(guī)則：所有子組的彈性最大CU之和要小于等于默認資源組的彈性最大CU；
（4）配額組標(biāo)簽命名規(guī)則：配額組標(biāo)簽只允許使用字母、數(shù)字、下劃線，不同配額組對應(yīng)標(biāo)簽不要重名，否則作業(yè)指定此重名標(biāo)簽，將會隨機調(diào)度到其中一個配額組；配額組標(biāo)簽調(diào)度規(guī)則：如果提交作業(yè)時設(shè)置的Quota Tag和某個配額組屬性中的標(biāo)簽相等，這個作業(yè)就會被優(yōu)先調(diào)度到這個配額組中，否則會被調(diào)度到所屬Project指定的配額組中，詳細信息請參見官網(wǎng)Quota Tag描述。
在了解清楚了以上幾個規(guī)則以后，如果進行資源的分配呢？我們以兩個具體的問題來了解一下。
（一）拿到資源如何配置?
首先我們要明白，配置策略跟業(yè)務(wù)是密不可分的，脫離了業(yè)務(wù)談配置是不切實際的。一般來說，在實際配置中我們有資源獨享和資源共享兩種資源配置策略。資源獨享更偏向于重點確保的業(yè)務(wù)，就是說那些一定要完成的和一定要保障到的業(yè)務(wù)，而資源共享就沒有那么苛刻的要求了，大部分情況下我們都可以采用資源共享的形式來進行配置，這樣子就可以避免前置資源的浪費。
假設(shè)我們共有預(yù)留計算資源60CU，非預(yù)留計算資源30CU，由兩個部門使用，可以按照如下方式分配：
（1）資源獨享方式

這么劃分意味著當(dāng)A組哪怕沒有資源使用時，B組資源最多也只能用到20（由最大CU限制）+10（由彈性最大CU限制）的資源；反之亦然，當(dāng)B組沒有資源使用的時候，A組最多也只能使用30+10CU的資源。這里需要注意，默認的預(yù)付費Quota組預(yù)留最小CU和非預(yù)留最大CU最少也需要有1CU，也就是說默認的預(yù)付費Quota組是一個天然的共享型的資源池。所以在業(yè)務(wù)上只需要資源獨享配額時候，就不要把項目遷移到默認的預(yù)付費Quota組，而要去做自定義的資源獨享組。
（2）資源共享方式

這么劃分意味著當(dāng)A組和B組資源均緊張時，A組可以用到20+10的資源，B組可以用到30+10的資源。當(dāng)A組沒有作業(yè)時，B組最多可以用到60+10的資源；反之當(dāng)B組沒有資源時，A組可以用到60+10的資源。我們需要注意的是，當(dāng)采用資源共享方式，如果B組沒有作業(yè)，A組分配了60（預(yù)留最大CU）+10（非預(yù)留最大CU）的資源時，之后B組突然有大量作業(yè)需要申請資源，這時候需要調(diào)度器通知A組釋放相應(yīng)資源之后B組才能開始分配資源進行作業(yè)。
（二）作業(yè)慢或者資源不足怎么辦?
在實際業(yè)務(wù)中，可能隨著業(yè)務(wù)量的增加、作業(yè)的復(fù)雜度增大，我們可能會遇到作業(yè)慢或者資源不足的情況。這里我們給出了三個解決方案：
（1）優(yōu)化作業(yè)代碼
我們可通過快照作業(yè)的資源使用情況得到top消耗的作業(yè)，并嘗試進行優(yōu)化，可參考官網(wǎng)最佳實踐來做相應(yīng)調(diào)整。
（2）更換調(diào)度策略
若單個配額組資源不足，但其他配額組有足夠空閑資源時，建議使用quota tag，可調(diào)度到閑置配額組內(nèi)進行資源周轉(zhuǎn)，或者調(diào)整內(nèi)部配額組之間的資源上下限，增加資源使用的靈活性，或者通過切換project對應(yīng)的quota組的方式進行重組式管理，前提是取決于業(yè)務(wù)情況。
（3）擴容
若整體資源不足，且其他待跑任務(wù)無重保訴求，建議走非預(yù)留擴容；若整體資源不足，且有重保任務(wù)持續(xù)新增時，建議走預(yù)留型擴容并已獨享型模式配置或后付費采買。

四、新功能預(yù)告

本文所提到的功能只是MaxCompute管家所提供的功能中的一部分，主要是面向初級用戶，后續(xù)將會有更多的功能對外開放，也會分享更多的進階版、高級版的功能，來解決大家工作中的痛點。未來一段時間，MaxCompute管家會有一些新功能與大家見面，比如以下：
（1）資源概覽頁
資源概覽頁用來展示用戶對應(yīng)的”包年包月“付費模式下的整體CU使用量、CU資源使用趨勢、存儲資源使用趨勢，方便用戶更快速、更便捷的了解當(dāng)前的資源使用情況。
（2）歷史作業(yè)快照
歷史作業(yè)快照支持按時間搜索歷史作業(yè)快照，便于用戶對歷史作業(yè)的資源使用情況的追述。
（3）終止作業(yè)
支持作業(yè)owner小批量終止作業(yè)，同時支持終止作業(yè)歷史追述。
（4）分時配額
針對于部分用戶作業(yè)有時段性的要求，增加了分時配額，支持用戶對不同配額組進行分時段的動態(tài)配額調(diào)整，便于用戶對周期性任務(wù)調(diào)度的有效管理。

如果大家需要了解更多的關(guān)于MaxCompute管家的細節(jié)，可以通過官網(wǎng) -> 大數(shù)據(jù)計算服務(wù) · MaxCompute -> 文檔&SDK -> MaxCompute管家來查看相應(yīng)的說明文檔，官方也會持續(xù)的進行迭代更新。

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的MaxCompute管家详解--管家助力，轻松玩转MaxCompute的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。