日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

DataWorks功能实践速览

發(fā)布時(shí)間:2024/9/3 编程问答 45 豆豆
生活随笔 收集整理的這篇文章主要介紹了 DataWorks功能实践速览 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
簡介:DataWorks功能實(shí)踐系列,幫助您解析業(yè)務(wù)實(shí)現(xiàn)過程中的痛點(diǎn),提高業(yè)務(wù)功能使用效率!

往期回顧:DataWorks 功能實(shí)踐速覽01期——數(shù)據(jù)同步解決方案

功能推薦:獨(dú)享數(shù)據(jù)集成資源組

如上期數(shù)據(jù)同步解決方案介紹,數(shù)據(jù)集成的批數(shù)據(jù)同步任務(wù)運(yùn)行時(shí),需要占用一定的計(jì)算資源,這些資源即資源組,通常先從數(shù)據(jù)來源所在的機(jī)器抽取數(shù)據(jù)至資源組所在的機(jī)器,再推送至目標(biāo)數(shù)據(jù)源所在的機(jī)器。

而進(jìn)行數(shù)據(jù)同步時(shí),可以根據(jù)實(shí)際情況規(guī)劃使用哪種數(shù)據(jù)集成資源組,資源組規(guī)劃的關(guān)鍵點(diǎn)包括連通性性能兩方面。

以下就從數(shù)據(jù)集成資源組的類型與性能、網(wǎng)絡(luò)連通性兩方面,為您介紹數(shù)據(jù)集成資源組的詳情:


Part1:數(shù)據(jù)集成資源組的類型與性能對比

DataWorks數(shù)據(jù)集成支持多種不同資源組:

  • 獨(dú)享數(shù)據(jù)集成資源組:
    購買后可獨(dú)占使用的資源組。在任務(wù)高并發(fā)執(zhí)行且無法錯(cuò)峰運(yùn)行,需要獨(dú)享的資源組來保障數(shù)據(jù)快速、穩(wěn)定地傳輸時(shí),您可以選擇獨(dú)享資源組。
  • 自定義數(shù)據(jù)集成資源組:
    如果您有富余的服務(wù)器資源,也可將此部分資源作為DataWorks中任務(wù)運(yùn)行的資源組使用,DataWorks支持自定義資源組。


以上兩種數(shù)據(jù)集成資源組在應(yīng)用上的能力對比如下表所示:


類別

獨(dú)享資源組

自定義資源組

機(jī)器資源歸屬

由DataWorks維護(hù),是自己的租戶獨(dú)享使用的計(jì)算資源。

由您自己維護(hù),是屬于您的IDC機(jī)器。

網(wǎng)絡(luò)

支持VPC、公網(wǎng)和任意網(wǎng)絡(luò)下的阿里云產(chǎn)品。

支持VPC、公網(wǎng)和任意網(wǎng)絡(luò)下的阿里云產(chǎn)品。

收費(fèi)方式

根據(jù)機(jī)器的規(guī)格,包年包月計(jì)費(fèi)。

DataWorks版本按月使用收費(fèi)。

支持的數(shù)據(jù)源

全部數(shù)據(jù)源

全部數(shù)據(jù)源

安全性

根據(jù)您自身機(jī)器所處的環(huán)境決定

任務(wù)執(zhí)行的效率

指任務(wù)是否能夠分到足夠的計(jì)算資源,能否以最高性能運(yùn)行。

根據(jù)您自身機(jī)器所處的環(huán)境決定

可靠性

指任務(wù)是否能夠按時(shí)啟動。執(zhí)行任務(wù)時(shí),網(wǎng)絡(luò)資源是否被其它租戶占用,導(dǎo)致任務(wù)不能按時(shí)產(chǎn)出結(jié)果。

根據(jù)您自身機(jī)器所處的環(huán)境決定

適用場景

大量、重要的生產(chǎn)級別的任務(wù)。

使用自定義資源組的場景如下:

  • 如果您自身已有計(jì)算資源,可以對接阿里云重復(fù)使用,無需重新購買。
  • 需要同步的數(shù)據(jù)源全部在IDC內(nèi)。

推薦指數(shù)

★★★★★


非常建議您使用獨(dú)享數(shù)據(jù)集成資源組來運(yùn)行數(shù)據(jù)集成任務(wù)獨(dú)享數(shù)據(jù)集成資源組的購買后,您需要完成網(wǎng)絡(luò)配置和工作空間綁定,后續(xù)即可選擇與數(shù)據(jù)源的網(wǎng)絡(luò)連通方案進(jìn)行連通配置了。在此之前,獨(dú)享數(shù)據(jù)集成資源組的購買與基礎(chǔ)配置的操作詳情請參見新增和使用獨(dú)享數(shù)據(jù)集成資源組。


Part2:數(shù)據(jù)集成資源組的網(wǎng)絡(luò)連通方案

進(jìn)行數(shù)據(jù)同步時(shí),需要根據(jù)數(shù)據(jù)庫所在網(wǎng)絡(luò)環(huán)境,通過對應(yīng)的網(wǎng)絡(luò)解決方案,實(shí)現(xiàn)對應(yīng)類型資源組與數(shù)據(jù)庫的網(wǎng)絡(luò)連通。連通方案概覽如下。

以下為您重點(diǎn)介紹獨(dú)享數(shù)據(jù)集成資源組的網(wǎng)絡(luò)連通方案詳情,其他資源組類型的網(wǎng)絡(luò)連通方案可進(jìn)入幫助中心查看。


場景1:數(shù)據(jù)源具備訪問公網(wǎng)的能力

如果數(shù)據(jù)源具備公網(wǎng)訪問能力的話,那么數(shù)據(jù)源與資源組之間可以直接通過公網(wǎng)互訪。


場景2:數(shù)據(jù)源在VPC網(wǎng)絡(luò)中,且VPC和DataWorks在同一個(gè)地域

如果數(shù)據(jù)源在VPC網(wǎng)絡(luò)中,且VPC和DataWorks在同一個(gè)地域,那可以將獨(dú)享數(shù)據(jù)集成資源組綁定數(shù)據(jù)源所在VPC。同時(shí)需要關(guān)注,資源組與DataWorks是否在同一個(gè)可用區(qū)中,如果不在同一個(gè)可用區(qū)中,還需要手動添加一下路由,保障資源組與數(shù)據(jù)源之間網(wǎng)絡(luò)是連通的。添加路由的操作詳情可參見添加路由。


場景3:數(shù)據(jù)源在VPC網(wǎng)絡(luò)中,且VPC和DataWorks在不同的地域

如果數(shù)據(jù)源在VPC網(wǎng)絡(luò)中,且VPC和DataWorks在不同的地域中,那您需要為獨(dú)享數(shù)據(jù)集成資源組綁定一個(gè)VPC,然后通過高速通道、VPN或其他網(wǎng)絡(luò)連通產(chǎn)品連通資源組綁定的VPC與數(shù)據(jù)源所在的VPC。

常見的網(wǎng)絡(luò)連通產(chǎn)品包括:

  • 云企業(yè)網(wǎng)使用場景示例,請參見云企業(yè)網(wǎng)。
  • 高速通道使用場景示例,請參見高速通道。
  • VPN網(wǎng)關(guān)使用場景示例,請參見VPN網(wǎng)關(guān)。

此外,您依舊需要手動添加一下路由,保障網(wǎng)絡(luò)連通性。添加路由的操作詳情可參見添加路由。


場景4:數(shù)據(jù)源在IDC內(nèi)

如果數(shù)據(jù)源在IDC內(nèi),與場景3:數(shù)據(jù)源在VPC中且與DataWorks不同地域的場景類似,您需要為獨(dú)享數(shù)據(jù)集成資源組綁定一個(gè)VPC,然后通過高速通道、VPN或其他網(wǎng)絡(luò)連通產(chǎn)品連通資源組綁定的VPC與數(shù)據(jù)源所在的VPC。

常見的網(wǎng)絡(luò)連通產(chǎn)品包括:

  • 云企業(yè)網(wǎng)使用場景示例,請參見云企業(yè)網(wǎng)。
  • 高速通道使用場景示例,請參見高速通道。
  • VPN網(wǎng)關(guān)使用場景示例,請參見VPN網(wǎng)關(guān)。

此外,您依舊需要手動添加一下路由,保障網(wǎng)絡(luò)連通性。添加路由的操作詳情可參見添加路由。


場景5:數(shù)據(jù)源在經(jīng)典網(wǎng)絡(luò)

如果數(shù)據(jù)源在經(jīng)典網(wǎng)絡(luò)內(nèi),則此場景下,不支持?jǐn)?shù)據(jù)源與DataWorks資源組網(wǎng)絡(luò)連通,建議您將數(shù)據(jù)源遷移至VPC網(wǎng)絡(luò)中。

PS:阿里云經(jīng)典網(wǎng)絡(luò)已不推薦使用,建議您遷移數(shù)據(jù)源至VPC。


Part3:注意事項(xiàng)——白名單的影響

保障資源組與數(shù)據(jù)源之間網(wǎng)絡(luò)連通后,您還需保障資源組與數(shù)據(jù)源之間不會因?yàn)榘酌麊蔚南拗贫鵁o法進(jìn)行數(shù)據(jù)訪問,例如,部分?jǐn)?shù)據(jù)源設(shè)置白名單后會不允許白名單外的IP訪問,您需要將資源組的IP添加至數(shù)據(jù)源的白名單中。

使用不同類型的數(shù)據(jù)集成資源組時(shí),需要添加到數(shù)據(jù)源白名單中的IP地址不一致,詳情可進(jìn)入幫助中心查看,以下為您示例,使用獨(dú)享數(shù)據(jù)集成資源組時(shí),需要獲取并添加到數(shù)據(jù)源白名單中的IP地址。

  • 交換機(jī)網(wǎng)段:

  • 獨(dú)享資源組的EIP地址:


場景實(shí)踐

了解了獨(dú)享數(shù)據(jù)集成資源組后,您可以參考以下文檔進(jìn)行實(shí)操實(shí)踐。

  • 新增和使用獨(dú)享數(shù)據(jù)集成資源組
  • 同步數(shù)據(jù)至MaxCompute

原文鏈接:https://developer.aliyun.com/article/787172?

版權(quán)聲明:本文內(nèi)容由阿里云實(shí)名注冊用戶自發(fā)貢獻(xiàn),版權(quán)歸原作者所有,阿里云開發(fā)者社區(qū)不擁有其著作權(quán),亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,填寫侵權(quán)投訴表單進(jìn)行舉報(bào),一經(jīng)查實(shí),本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的DataWorks功能实践速览的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。