DataWorks功能实践速览
往期回顧:DataWorks 功能實(shí)踐速覽01期——數(shù)據(jù)同步解決方案
功能推薦:獨(dú)享數(shù)據(jù)集成資源組
如上期數(shù)據(jù)同步解決方案介紹,數(shù)據(jù)集成的批數(shù)據(jù)同步任務(wù)運(yùn)行時(shí),需要占用一定的計(jì)算資源,這些資源即資源組,通常先從數(shù)據(jù)來源所在的機(jī)器抽取數(shù)據(jù)至資源組所在的機(jī)器,再推送至目標(biāo)數(shù)據(jù)源所在的機(jī)器。
而進(jìn)行數(shù)據(jù)同步時(shí),可以根據(jù)實(shí)際情況規(guī)劃使用哪種數(shù)據(jù)集成資源組,資源組規(guī)劃的關(guān)鍵點(diǎn)包括連通性和性能兩方面。
以下就從數(shù)據(jù)集成資源組的類型與性能、網(wǎng)絡(luò)連通性兩方面,為您介紹數(shù)據(jù)集成資源組的詳情:
Part1:數(shù)據(jù)集成資源組的類型與性能對比
DataWorks數(shù)據(jù)集成支持多種不同資源組:
- 獨(dú)享數(shù)據(jù)集成資源組:
購買后可獨(dú)占使用的資源組。在任務(wù)高并發(fā)執(zhí)行且無法錯(cuò)峰運(yùn)行,需要獨(dú)享的資源組來保障數(shù)據(jù)快速、穩(wěn)定地傳輸時(shí),您可以選擇獨(dú)享資源組。 - 自定義數(shù)據(jù)集成資源組:
如果您有富余的服務(wù)器資源,也可將此部分資源作為DataWorks中任務(wù)運(yùn)行的資源組使用,DataWorks支持自定義資源組。
以上兩種數(shù)據(jù)集成資源組在應(yīng)用上的能力對比如下表所示:
類別 | 獨(dú)享資源組 | 自定義資源組 |
機(jī)器資源歸屬 | 由DataWorks維護(hù),是自己的租戶獨(dú)享使用的計(jì)算資源。 | 由您自己維護(hù),是屬于您的IDC機(jī)器。 |
網(wǎng)絡(luò) | 支持VPC、公網(wǎng)和任意網(wǎng)絡(luò)下的阿里云產(chǎn)品。 | 支持VPC、公網(wǎng)和任意網(wǎng)絡(luò)下的阿里云產(chǎn)品。 |
收費(fèi)方式 | 根據(jù)機(jī)器的規(guī)格,包年包月計(jì)費(fèi)。 | DataWorks版本按月使用收費(fèi)。 |
支持的數(shù)據(jù)源 | 全部數(shù)據(jù)源 | 全部數(shù)據(jù)源 |
安全性 | 高 | 根據(jù)您自身機(jī)器所處的環(huán)境決定 |
任務(wù)執(zhí)行的效率 指任務(wù)是否能夠分到足夠的計(jì)算資源,能否以最高性能運(yùn)行。 | 高 | 根據(jù)您自身機(jī)器所處的環(huán)境決定 |
可靠性 指任務(wù)是否能夠按時(shí)啟動。執(zhí)行任務(wù)時(shí),網(wǎng)絡(luò)資源是否被其它租戶占用,導(dǎo)致任務(wù)不能按時(shí)產(chǎn)出結(jié)果。 | 高 | 根據(jù)您自身機(jī)器所處的環(huán)境決定 |
適用場景 | 大量、重要的生產(chǎn)級別的任務(wù)。 | 使用自定義資源組的場景如下:
|
推薦指數(shù) | ★★★★★ | ★ |
非常建議您使用獨(dú)享數(shù)據(jù)集成資源組來運(yùn)行數(shù)據(jù)集成任務(wù)。獨(dú)享數(shù)據(jù)集成資源組的購買后,您需要完成網(wǎng)絡(luò)配置和工作空間綁定,后續(xù)即可選擇與數(shù)據(jù)源的網(wǎng)絡(luò)連通方案進(jìn)行連通配置了。在此之前,獨(dú)享數(shù)據(jù)集成資源組的購買與基礎(chǔ)配置的操作詳情請參見新增和使用獨(dú)享數(shù)據(jù)集成資源組。
Part2:數(shù)據(jù)集成資源組的網(wǎng)絡(luò)連通方案
進(jìn)行數(shù)據(jù)同步時(shí),需要根據(jù)數(shù)據(jù)庫所在網(wǎng)絡(luò)環(huán)境,通過對應(yīng)的網(wǎng)絡(luò)解決方案,實(shí)現(xiàn)對應(yīng)類型資源組與數(shù)據(jù)庫的網(wǎng)絡(luò)連通。連通方案概覽如下。
以下為您重點(diǎn)介紹獨(dú)享數(shù)據(jù)集成資源組的網(wǎng)絡(luò)連通方案詳情,其他資源組類型的網(wǎng)絡(luò)連通方案可進(jìn)入幫助中心查看。
場景1:數(shù)據(jù)源具備訪問公網(wǎng)的能力
如果數(shù)據(jù)源具備公網(wǎng)訪問能力的話,那么數(shù)據(jù)源與資源組之間可以直接通過公網(wǎng)互訪。
場景2:數(shù)據(jù)源在VPC網(wǎng)絡(luò)中,且VPC和DataWorks在同一個(gè)地域
如果數(shù)據(jù)源在VPC網(wǎng)絡(luò)中,且VPC和DataWorks在同一個(gè)地域,那可以將獨(dú)享數(shù)據(jù)集成資源組綁定數(shù)據(jù)源所在VPC。同時(shí)需要關(guān)注,資源組與DataWorks是否在同一個(gè)可用區(qū)中,如果不在同一個(gè)可用區(qū)中,還需要手動添加一下路由,保障資源組與數(shù)據(jù)源之間網(wǎng)絡(luò)是連通的。添加路由的操作詳情可參見添加路由。
場景3:數(shù)據(jù)源在VPC網(wǎng)絡(luò)中,且VPC和DataWorks在不同的地域
如果數(shù)據(jù)源在VPC網(wǎng)絡(luò)中,且VPC和DataWorks在不同的地域中,那您需要為獨(dú)享數(shù)據(jù)集成資源組綁定一個(gè)VPC,然后通過高速通道、VPN或其他網(wǎng)絡(luò)連通產(chǎn)品連通資源組綁定的VPC與數(shù)據(jù)源所在的VPC。
常見的網(wǎng)絡(luò)連通產(chǎn)品包括:
- 云企業(yè)網(wǎng)使用場景示例,請參見云企業(yè)網(wǎng)。
- 高速通道使用場景示例,請參見高速通道。
- VPN網(wǎng)關(guān)使用場景示例,請參見VPN網(wǎng)關(guān)。
此外,您依舊需要手動添加一下路由,保障網(wǎng)絡(luò)連通性。添加路由的操作詳情可參見添加路由。
場景4:數(shù)據(jù)源在IDC內(nèi)
如果數(shù)據(jù)源在IDC內(nèi),與場景3:數(shù)據(jù)源在VPC中且與DataWorks不同地域的場景類似,您需要為獨(dú)享數(shù)據(jù)集成資源組綁定一個(gè)VPC,然后通過高速通道、VPN或其他網(wǎng)絡(luò)連通產(chǎn)品連通資源組綁定的VPC與數(shù)據(jù)源所在的VPC。
常見的網(wǎng)絡(luò)連通產(chǎn)品包括:
- 云企業(yè)網(wǎng)使用場景示例,請參見云企業(yè)網(wǎng)。
- 高速通道使用場景示例,請參見高速通道。
- VPN網(wǎng)關(guān)使用場景示例,請參見VPN網(wǎng)關(guān)。
此外,您依舊需要手動添加一下路由,保障網(wǎng)絡(luò)連通性。添加路由的操作詳情可參見添加路由。
場景5:數(shù)據(jù)源在經(jīng)典網(wǎng)絡(luò)
如果數(shù)據(jù)源在經(jīng)典網(wǎng)絡(luò)內(nèi),則此場景下,不支持?jǐn)?shù)據(jù)源與DataWorks資源組網(wǎng)絡(luò)連通,建議您將數(shù)據(jù)源遷移至VPC網(wǎng)絡(luò)中。
PS:阿里云經(jīng)典網(wǎng)絡(luò)已不推薦使用,建議您遷移數(shù)據(jù)源至VPC。
Part3:注意事項(xiàng)——白名單的影響
保障資源組與數(shù)據(jù)源之間網(wǎng)絡(luò)連通后,您還需保障資源組與數(shù)據(jù)源之間不會因?yàn)榘酌麊蔚南拗贫鵁o法進(jìn)行數(shù)據(jù)訪問,例如,部分?jǐn)?shù)據(jù)源設(shè)置白名單后會不允許白名單外的IP訪問,您需要將資源組的IP添加至數(shù)據(jù)源的白名單中。
使用不同類型的數(shù)據(jù)集成資源組時(shí),需要添加到數(shù)據(jù)源白名單中的IP地址不一致,詳情可進(jìn)入幫助中心查看,以下為您示例,使用獨(dú)享數(shù)據(jù)集成資源組時(shí),需要獲取并添加到數(shù)據(jù)源白名單中的IP地址。
- 交換機(jī)網(wǎng)段:
- 獨(dú)享資源組的EIP地址:
場景實(shí)踐
了解了獨(dú)享數(shù)據(jù)集成資源組后,您可以參考以下文檔進(jìn)行實(shí)操實(shí)踐。
- 新增和使用獨(dú)享數(shù)據(jù)集成資源組
- 同步數(shù)據(jù)至MaxCompute
原文鏈接:https://developer.aliyun.com/article/787172?
版權(quán)聲明:本文內(nèi)容由阿里云實(shí)名注冊用戶自發(fā)貢獻(xiàn),版權(quán)歸原作者所有,阿里云開發(fā)者社區(qū)不擁有其著作權(quán),亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,填寫侵權(quán)投訴表單進(jìn)行舉報(bào),一經(jīng)查實(shí),本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。總結(jié)
以上是生活随笔為你收集整理的DataWorks功能实践速览的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mPaaS 月度小报|为采购而生,全新资
- 下一篇: 全实践!3天物联网安全课程不断电