引言

DataWorks提供了三種資源組的能力：獨享資源組、自定義資源組和默認資源組，很多開發者在使用資源組時經常會碰到各類情況，到時候任務運行失敗或者延遲，例如：
1. 正在使用默認資源組，任務經常要等待
2.購買錯了資源組類型（獨享數據集成資源組與獨享調度資源組），使用不了
3.購買錯了地域（杭州開通DataWorks購買了北京的資源組）
4.沒買錯資源組類型，也沒買錯地域，當天還是用不了

通過本篇文章，為您介紹三種資源組的使用場景、使用方式等；下圖描述了整個任務在運行過程中不同類型使用的資源組的流程；

? ? 調度有三種資源組：默認、獨享、自定義；DataWorks中的數據集成也有同樣的三種資源組：默認、獨享、自定義；數據集成的同步資源管理復用調度系統資源管理系統，在使用DataWorks的時候，如果需要使用數據集成任務，那么需要區分開調度和數據集成2種資源組的概念；

默認資源組

? ? 默認資源組是DataWorks在租戶開始使用時候就給每個租戶頒發的資源組了，租戶內所有項目共享，不需要任何配置、操作就可以運行任務；但是該默認資源組需要說明節點：

• 使用場景：

  • 默認資源組是在租戶購買了DataWorks時候就會默認創建的，可以支持用戶在頁面進行數據開發、運行測試等能力，目前是免費支持的；
  • 任務量相對較少，或者相對來說對任務時效性要求不高的場景

• 提供的能力

  • 支持所有的任務類型，但不支持：

    • 需要公網訪問外部服務，且需要白名單的不支持；
    • 需要訪問VPC的任務不支持
    • 需要訪問公網的也不建議使用，建議切換其他資源組使用；
  • 任務安全沙箱的能力

• 注意事項

  • 默認資源組最大調度資源是有固定分配的默認大小的；所有租戶下項目共享，會存在項目之間的資源搶占，不能100%保障任務按時獲得資源運行；
  • 默認資源組是在平臺的公共集群下的，所有租戶都共享該集群資源，所以在高峰期會存在租戶之間的資源搶占，不能100%保障任務按時獲得資源運行；

• 費用

  • 按量付費（實例費用、同步進程費用等）

獨享資源組

? ? 目前DataWorks的獨享資源組提供了2種：獨享調度資源組和獨享數據集成資源組，在此處為了更好的理解為什么需要2種資源組的方式，可以將獨享數據集成資源組理解為MaxCompute的計算資源概念，因為數據集成隸屬于DataWorks產品內，所以在同步資源是跟調度資源在一起購買的；可以參考引言中的圖；

一、獨享調度資源組

（1）信息說明

• 版本要求：無

• 類型：

  • 獨享調度資源組
  • 獨享數據集成資源組

• 使用場景

  • 推薦只要生產任務都使用獨享資源組

    • 資源可隨時調配
    • 任務產出可得到保障
  • 任務量大、且對任務時效性要求高的場景必須使用獨享
  • 需要訪問公網地址、訪問VPC地址，請使用獨享
  • 訪問目的端服務，需要配置白名單的場景，請使用獨享
  • 自己VPC與IDC已經打通，任務需要訪問IDC的，可使用獨享解決網絡問題；

• 注意事項

  • 獨享目前不能支持跨租戶節點、機器學習任務；其余支持
  • 購買獨享資源組的時候，務必要注意購買與自己VPC在同一個可用區

  • 切換任務資源組的時候：

    • 注意每種任務類型都需要測試驗證：網絡是否已經打通

• 費用：

  • 調度：相對默認資源組，如果實例超過500個，獨享資源會相對便宜很多；不收取實例費用，僅資源費用；

（2）如何修改任務運行到獨享調度資源組

特別特別注意：
1、在運維中心任務修改資源組周期任務是需要第二天才會生效，及時生效可以通過測試或者補數據運行即可；
2、__一定要先單個測試在批量修改,__一定要先單個測試在批量修改,__一定要先單個測試在批量修改
3、如果有網絡打通的，優先將網絡打通，可以在測試的時候驗證出來的；
詳細操作步驟：

• step1：購買獨享資源組

  • 說明：一般按照實際的任務并發數來購買對應的資源數量，可以參考：https://help.aliyun.com/document_detail/125776.html?spm=a2c4g.11186623.6.573.20a87b75cx5tkl?里面的場景三
  • 購買指引：https://help.aliyun.com/document_detail/121526.html?spm=a2c4g.11174283.6.641.4b1c2b65Y7CSE8
  • 登錄管控臺：目前需要有主賬戶權限或者已經授權過的子賬戶
  • 打開頁面，點擊“新增獨享資源組”
  • 新增頁面，選擇“獨享調度資源組”：
  • 點擊購買鏈接，去購買：此處特別建議：至少購買2臺（做容災保障，Failover的能力）
  • 購買完畢后，就可以返回在控制臺剛才的創建頁面，選擇訂單號了：
  • 然后選擇可用區：特別特別注意：可用區需要跟您的VPC在一個可用區：（就是你的任務是否需要訪問VPC地址，比如訪問ads、adb等，就需要跟次VPC在一個可用區）如果沒有可用，提工單！

• step2：購買成功后，大概需要等待5分鐘左右，資源組即可創建完畢；【需要點擊刷新按鈕，不會主動刷新】

• step3：將資源組分配到需要的項目中使用,點擊：“修改歸屬空間”，點擊確定接口

• step4：指定完畢項目空間后，就可以切換到運維中心去修改任務資源組了；
• step5：打開運維中心，切換到指定項目下，比如此處上述資源組分配到了monitor_prj項目中，到該項目的到周期任務中，選擇需要修改的，點擊下方有個更多里面有個修改資源組；

特別特別注意：虛節點、工作流、機器學習等任務類型不要選擇上，因為這些不支持資源組修改；
??->?

• step6：修改完畢資源組后，可以點擊任務詳情，查看屬性，就可以看到任務的資源組信息：

• step7：測試驗收：

  • 任務資源組修改完畢后，可以進行測試、補數據運行，任務就會運行到當前的資源組上，可以通過查看日志判斷任務是否已經在獨享資源組上：

?->?

• 任務運行成功，在看下日志了，是否都OK的，就說明該任務運行到獨享資源組上沒有什么問題；

• step8：批量修改同一種任務類型的任務切換到該資源組上：

  • 過濾節點類型
  • 全選

以上，就完成了將任務遷移到獨享資源組運行的操作了；

二、獨享數據集成資源組

（一）信息說明

• 版本要求：無

• 使用場景

  • 推薦只要生產任務都使用獨享數據集成資源組

    • 資源可隨時調配
    • 任務產出可得到保障
  • 任務量大、且對任務時效性要求高的場景必須使用獨享
  • 需要訪問公網地址、訪問VPC地址，請使用獨享
  • 訪問目的端服務，需要配置白名單的場景，請使用獨享
  • 自己VPC與IDC已經打通，任務需要訪問IDC的，可使用獨享解決網絡問題；

• 注意事項

  • 如果數據源是經典網絡的，不可遷移到獨享，因為獨享是VPC的
  • 購買獨享資源組的時候，務必要注意購買與自己VPC在同一個可用區

（二）如何修改任務運行到獨享數據集成資源組

寫在最前面：
1、一定要先單個測試在批量修改,一定要先單個測試在批量修改,一定要先單個測試在批量修改
2、如果有網絡打通的，優先將網絡打通，可以在測試的時候驗證出來的；
3、獨享數據集成資源組是在數據開發頁面修改提交，發布后是及時生效的；
詳細操作步驟：

• step1：購買創建、分配流程：同獨享調度資源組是一致的，注意一點就是規格問題：簡單理解多大內存就允許多大并發

• step2：修改任務到獨享數據集成資源組，登錄到對應項目空間的數據開發頁面，找到你的同步任務，打開編輯：

  • 通過向導模式配置任務時，在通道控制?>?任務資源組下拉框中，選擇相應的獨享數據集成資源。
  • 通過腳本模式配置任務時，單擊右上角的配置任務資源組，在任務資源組下拉框中，選擇相應的獨享數據集成資源。
• step3：任務資源組修改完畢后，保存，提交；發布后，一樣的，在運維中心進行測試或者補數據運行，就可以驗證是否測試通過
• step4：目前數據集成資源組的修改無法支持批量修改，只能按照上述方法，逐一任務修改！

三、專有網絡綁定

• 使用場景

  • 當配置的任務需要訪問自己VPC內的地址的時候，就需要做VPC之間的網絡打通，比如需要訪問adb的vpc，那就必須要做這一步
  • 如果你的VPC跟你的IDC已經專線打通，那也可以通過此功能將獨享與你的idc打通，可以支持任務運行，不過此操作需要平臺支持

• 前提條件

  • 創建的獨享資源組與自己VPC在一個可用區
  • 如果不在一個可用區：建議重新購買創建；若無法重新創建則只能提工單需求！

• 操作步驟

  • step1：打開控制資源組列表，找到獨享資源組->專有網絡綁定

?

• step2：點擊后，需要授權使用，點擊授權即可
• step3：選擇需要綁定的資源組，點擊 新增綁定：

• step4：填寫對應的自己VPC下的信息：

  • 特別注意：選擇VPC、交換機、安全組都是你目的端要訪問的云產品實例所在的
  • 如果沒有交換機或者安全組，可點擊創建（注意創建的時候都要在該可用區下）

• step5：如果你的云產品實例需要配置白名單的話：綁定成功后，回到獨享資源組列表，點擊 查看信息：

  • 會有eip、網段，需要將此2個IP和ip段作為白名單列表添加到你對應的云產品實例的IP白名單列表中；
  • 同時，需要將自己云產品實例所在的交換機網段（內網網段）也添加到自己的白名單IP列表中
  • 特別特別注意：如果您的MaxCompute開啟的IP白名單，任務切換到了獨享資源組后，發現白名單問題，請提工單，由平臺方提供IP列表添加

四、運維助手

• 使用場景

  • 解決一些資源包沒有安裝的問題，用戶可以自己操作安裝；比如python的三方包
  • 一些特殊腳本固定使用

• 注意點

  • 固定安裝目錄
• 使用方式：https://help.aliyun.com/document_detail/144824.html?spm=a2c4g.11186623.6.667.43507e023eJc8C

自定義資源組

• 版本要求：

  • 自定義調度資源組：企業版及以上，需要提工單白名單開放
  • 自定義數據集成資源組：專業版及以上

• 解決的場景：

  • 網絡問題：做數據同步需要訪問自己IDC的
  • 環境因數：比如依賴了python高版本、jdk環境等等，可以使用一臺環境滿足的ecs作為自定義資源
  • 搬站：一些客戶本地以及有工作流任務開發在運行了，期望可以減少搬站遷移的工作量，可以還是將任務直接調度到自己的服務器上，減少代碼腳本的遷移；

• 注意事項

  • 只能支持數據集成任務和shell任務

• 操作使用：

  • 自定義數據集成資源組，參考此處：https://help.aliyun.com/document_detail/136934.html?spm=a2c4g.11186623.6.719.8b745b35mv5nrp

  • 自定義調度資源組：

    • step1：提工單申請，企業版升級；

- step2：DataWorks控制臺打開，先創建資源組：

- step3：創建資源組后，在點擊 服務器管理，添加服務器，特別特別注意，**此步驟最容易出錯：**- **網絡類型：只能支持專有網絡；**- **UUID：必須使用UUID方式添加，UUID獲取方法：執行`dmidecode | grep UUID`，取返回值**- **IP：機器的內網IP，可以登錄機器：hostname -i接口或得**

??

- step4: 服務添加完畢后，回到自定義資源組頁面，刷新按鈕，點擊 服務器初始化，按照初始化流程，登錄到ECS操作 - step5：服務器操作完畢后，可以到頁面等待10分鐘，觀察服務器狀態正常即可；

• 修改任務到自定義資源組流程跟獨享一樣

  • 調度資源組：運維中心修改
  • 數據集成：編輯開發頁面修改，需要提交發布

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的任务不再等待！玩转DataWorks资源组的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。