使用CLONE TABLE方式实现同region不同可用区的MaxCompute
該文章主要針對(duì)于用戶(hù)同region不同賬戶(hù)之間的MaxCompute數(shù)據(jù)遷移方式,屬于遷移的方式可以有三種方式,一、添加MaxCompute數(shù)據(jù)源的方式進(jìn)行數(shù)據(jù)遷移(該方式針對(duì)多個(gè)表配置同步節(jié)點(diǎn)較為繁瑣);二、使用tunnel方式結(jié)合代碼進(jìn)行數(shù)據(jù)的遷移;三、使用clone table進(jìn)行MaxCompute數(shù)據(jù)到另一MaxCompute之間的數(shù)據(jù)遷移。本案例主要介紹Clone table功能,Clone table跨賬號(hào)進(jìn)行同步數(shù)據(jù),需要所做的添加對(duì)應(yīng)的主賬戶(hù)到對(duì)應(yīng)的項(xiàng)目空間,并且賦予有對(duì)應(yīng)創(chuàng)建表權(quán)限的用戶(hù),最后實(shí)現(xiàn)不同MaxCompute之間的Clone table功能。
背景:
針對(duì)用戶(hù)在不同MaxCompute之間進(jìn)行數(shù)據(jù)遷移,使用三種方式的第一種、第二種進(jìn)行數(shù)據(jù)的遷移造成了很多用戶(hù)操作繁瑣,在這里給大家?guī)?lái)一篇實(shí)踐不同賬號(hào)Clone table功能的一個(gè)范例,希望可以幫助到大家。
一、CLONE TABLE功能介紹
CLONE TABLE可以復(fù)制表數(shù)據(jù)到另一個(gè)表中,極大的提高了數(shù)據(jù)遷移的效率。本文為您介紹CLONE TABLE的使用。
使用限制
- 要求目標(biāo)表與源表的Schema兼容。
- 支持分區(qū)表和非分區(qū)表。
- 目標(biāo)表已存在時(shí)一次性復(fù)制分區(qū)的數(shù)量上限為10000個(gè)。
- 目標(biāo)表不存在時(shí)無(wú)分區(qū)數(shù)量限制,滿(mǎn)足原子性。
命令格式
CLONE TABLE <[src_project_name.]src_table_name> [PARTITION(spec), ...]TO <[dest_project_name.]desc_table_name> [IF EXISTS (OVERWRITE | IGNORE)] ;具體使用情況請(qǐng)參閱CLONE TABLE功能介紹
二、添加用戶(hù)與賦予用戶(hù)權(quán)限
2.1進(jìn)入需要同步數(shù)據(jù)的MaxCompute客戶(hù)端,并添加目標(biāo)源MaxCompute的主賬號(hào)到目的空間
限制
只能將另一個(gè)主賬戶(hù)添加到本項(xiàng)目空間
涉及到的權(quán)限知識(shí)點(diǎn)可以參考MaxCompute與DataWorks權(quán)限介紹和示例
2.2查詢(xún)所有角色,并查看對(duì)應(yīng)角色的權(quán)限設(shè)置,并賦予新增用戶(hù)的權(quán)限
三、在源MaxCompute創(chuàng)建對(duì)應(yīng)的表,并插入數(shù)據(jù)
3.1在源MaxCompute創(chuàng)建對(duì)應(yīng)的表并插入數(shù)據(jù)
CREATE TABLE IF NOT EXISTS git_project.testone(name STRING) STORED AS ALIORC; INSERT INTO testone VALUES ('tom'); INSERT INTO testone VALUES ('tony');四、clone數(shù)據(jù),并確認(rèn)數(shù)據(jù)是否clone是否成功
4.1在源MaxCompute執(zhí)行命令
clone TABLE git_project.testone to WB_BestPractice_dev.testone IF EXISTS OVERWRITE;4.2登錄MaxCompute目的端,查看是否遷移完成
執(zhí)行命令
歡迎加入“MaxCompute開(kāi)發(fā)者社區(qū)2群”,點(diǎn)擊鏈接申請(qǐng)加入或掃描二維碼
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的使用CLONE TABLE方式实现同region不同可用区的MaxCompute的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 上云七步走,助力垂直电商降本增效
- 下一篇: 如何选择适合你的企业数据管理类产品