在MaxCompute生態(tài)中，命令行工具究竟處于什么樣的位置？它又發(fā)揮著什么樣的作用？能夠幫助開發(fā)者如何更好使用MaxCompute？在本文中，阿里巴巴計(jì)算平臺(tái)產(chǎn)品專家曲寧將通過(guò)一個(gè)完整簡(jiǎn)單的小例子為大家介紹MaxCompute命令行工具odpscmd的使用以及其所具有的各種能力。

直播視頻回看，戳這里！https://yq.aliyun.com/webinar/play/467
分享資料下載，戳這里！https://yq.aliyun.com/download/2946

以下內(nèi)容根據(jù)演講視頻及PPT整理而成。

本文將主要按照以下五個(gè)方面進(jìn)行介紹：
1.?? ?命令行工具odpscmd在MaxCompute生態(tài)中的定位
2.?? ?快速開始：一個(gè)完整簡(jiǎn)單的小例子
3.?? ?客戶端提供的能力框架
4.?? ?客戶端重點(diǎn)場(chǎng)景說(shuō)明
5.?? ?容易碰到的問(wèn)題

一、命令行工具odpscmd在MaxCompute生態(tài)中的定位
odpscmd其實(shí)就是MaxCompute的命令行工具的名稱，其在整個(gè)MaxCompute中的位置是位于最上端的。如下圖所示，整個(gè)MaxCompute生態(tài)自下而上是支撐的關(guān)系，而真正暴露給用戶的是一套R(shí)est API，這套API也是最核心的接口，無(wú)論是Java還是Python的SDK都需要調(diào)用這些核心API。而命令行工具就是對(duì)于MaxCompute開放的Rest API做了深度的包裝，在客戶端使得用戶可以使用命令的方式來(lái)提交作業(yè)，這些作業(yè)又將會(huì)通過(guò)接口提交給MaxCompute集群進(jìn)行相關(guān)的管理和開發(fā)。可能大家對(duì)于MaxCompute以及DataWorks這個(gè)組合比較熟悉，這是因?yàn)槭褂肕axCompute之前需要在DataWorks上面進(jìn)行開通。實(shí)際上，MaxCompute自身也有一些生態(tài)工具，比如odpscmd以及MaxCompute Studio等。

二、快速開始：一個(gè)完整簡(jiǎn)單的小例子
在本部分中，將通過(guò)一個(gè)簡(jiǎn)單而完整的例子對(duì)使用odpscmd客戶端進(jìn)行數(shù)據(jù)處理的各個(gè)階段進(jìn)行介紹。在文中僅對(duì)于各個(gè)步驟進(jìn)行簡(jiǎn)略描述，具體的實(shí)踐操作詳見(jiàn)視頻分享。

作為MaxCompute的客戶端工具，odpscmd與Hive CLI以及PSQL這樣客戶端工具是比較類似的，都是一個(gè)黑屏的操作管理工具。接下來(lái)為大家分享一個(gè)完整而簡(jiǎn)單的小例子，這個(gè)例子能夠完整地覆蓋大數(shù)據(jù)處理的各個(gè)環(huán)節(jié)，包括了環(huán)境準(zhǔn)備、數(shù)據(jù)接入、數(shù)據(jù)處理加工以及數(shù)據(jù)消費(fèi)。在大家常見(jiàn)的大數(shù)據(jù)場(chǎng)景中，業(yè)務(wù)數(shù)據(jù)往往分散在數(shù)據(jù)庫(kù)以及其他的生產(chǎn)環(huán)境中，而定期會(huì)進(jìn)行數(shù)據(jù)采集或者同步，將生產(chǎn)環(huán)境中的增量數(shù)據(jù)同步到數(shù)據(jù)倉(cāng)庫(kù)中去，這樣就會(huì)涉及到數(shù)據(jù)接入。之后在數(shù)據(jù)倉(cāng)庫(kù)中就會(huì)周期性地做一些數(shù)據(jù)處理加工，這些加工有時(shí)候會(huì)用常見(jiàn)的SQL做，對(duì)于MySQL而言提供了MR這樣的編程框架，而一些具有深度需求的用戶則會(huì)通過(guò)UDF來(lái)實(shí)現(xiàn)一些比較復(fù)雜的業(yè)務(wù)邏輯，同時(shí)在數(shù)據(jù)加工的時(shí)候會(huì)需要監(jiān)控作業(yè)的執(zhí)行情況，所以也會(huì)有對(duì)于進(jìn)度以及成功狀態(tài)等的作業(yè)查看和管理的需求。作業(yè)處理完畢之后，這時(shí)候基本上完成了數(shù)據(jù)的清洗和聚合，這時(shí)候就可以提供給數(shù)據(jù)消費(fèi)方使用。對(duì)于數(shù)據(jù)使用消費(fèi)方而言，往往需要將加工好的可消費(fèi)數(shù)據(jù)回流到業(yè)務(wù)系統(tǒng)來(lái)支撐在線應(yīng)用，或者通過(guò)JDBC接口連接BI工具進(jìn)行可視化分析，而業(yè)務(wù)分析師也往往希望下載一些數(shù)據(jù)進(jìn)行二次加工和處理。

1.下載與配置安裝
對(duì)于odpscmd而言，大家可以在官方網(wǎng)站上找到其下載地址，通過(guò)瀏覽器下載到本地的是一個(gè)ZIP包，解壓之后就可以看到odpscmd一些相關(guān)目錄。而對(duì)于Linux用戶而言，也可以通過(guò)yarn源去下載并安裝相應(yīng)的包。下載完成之后，需要修改odps_config.ini配置文件，如下圖藍(lán)框中所示，需要錄入項(xiàng)目名稱，填寫登錄訪問(wèn)者所擁有的access_id和access_key等認(rèn)證信息。同時(shí)，這里需要注意MaxCompute在國(guó)內(nèi)的Region里面的end_point域名是一致的；而對(duì)于tunnel_endpoint而言，則是和Region密切相關(guān)的，所以對(duì)于不同的Region而言，所填寫的tunnel_endpoint是不同的。在填寫完配置文件之后就可以啟動(dòng)odpscmd客戶端了。

2.數(shù)據(jù)環(huán)境準(zhǔn)備
對(duì)于使用odpscmd客戶端的同學(xué)而言，往往會(huì)深度地使用shell以及一些開源的工具進(jìn)行配合。這里舉個(gè)例子，在業(yè)務(wù)數(shù)據(jù)庫(kù)中有一張日常的業(yè)務(wù)表，可能存儲(chǔ)了日常業(yè)務(wù)點(diǎn)擊的日志以及新增的訂單數(shù)據(jù)，那么常見(jiàn)場(chǎng)景是需要將數(shù)據(jù)同步到數(shù)據(jù)倉(cāng)庫(kù)，這個(gè)過(guò)程需要一些數(shù)據(jù)同步工具周期性地將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)的表里面，而且往往會(huì)需要建立相應(yīng)的分區(qū)表，將相應(yīng)的數(shù)據(jù)放入到相應(yīng)的分區(qū)里面去。這一個(gè)任務(wù)可以通過(guò)開源工具DataX完成，實(shí)現(xiàn)將數(shù)據(jù)同步地插入到數(shù)據(jù)倉(cāng)庫(kù)表里面去。而當(dāng)手工配置DataX命令時(shí)，有一些像分區(qū)字段這樣的參數(shù)往往是動(dòng)態(tài)的，所以也需要?jiǎng)討B(tài)地放入到DataX腳本的參數(shù)當(dāng)中。

3.數(shù)據(jù)加工處理
當(dāng)數(shù)據(jù)同步完成之后，在很多的場(chǎng)景中需要對(duì)一些分區(qū)表做加工處理，如下圖所示的例子中是新建一張表或者insert OVERWRITE一張表，還會(huì)對(duì)于數(shù)據(jù)表中由于增量同步而引入的新的分區(qū)數(shù)據(jù)進(jìn)行匯總聚合計(jì)算，并將結(jié)果生成到新表中。而當(dāng)作業(yè)非常長(zhǎng)的時(shí)候，odpscmd工具也提供了作業(yè)監(jiān)控命令“Show p”，就能夠檢索出全量歷史作業(yè)。而每個(gè)作業(yè)都會(huì)有自己的instance_id，而對(duì)于MaxCompute而言，最基本的任務(wù)單元就是instance，每個(gè)instance就是提交作業(yè)的實(shí)例。根據(jù)instance_id在事后還可以檢索到其對(duì)應(yīng)的Logview。總之，odpscmd本身就提供了完整的作業(yè)提交、作業(yè)事后查看以及對(duì)于指定作業(yè)詳情的查看能力。在本次分享的例子中，使用的是Tunnel對(duì)于MaxCompute的結(jié)果數(shù)據(jù)集進(jìn)行下載，并通過(guò)Excel或者其他的工具進(jìn)行分析，因此執(zhí)行tunnel download就能夠?qū)⒔Y(jié)果數(shù)據(jù)表下載到本地文件中。

三、客戶端提供的能力框架
上述的內(nèi)容其實(shí)是希望通過(guò)一個(gè)簡(jiǎn)單的例子將日常較為復(fù)雜的大數(shù)據(jù)處理流程和環(huán)節(jié)進(jìn)行簡(jiǎn)單回溯，借此希望向大家傳達(dá)MaxCompute客戶端工具能夠支持日常工作的各個(gè)環(huán)節(jié)。那么，MaxCompute客戶端工具究竟有什么樣的功能能夠支撐各個(gè)環(huán)節(jié)的需要呢？其實(shí)，odpscmd的功能包含了對(duì)于項(xiàng)目空間的管理，對(duì)表、視圖以及操作分區(qū)的操作管理，對(duì)資源、函數(shù)的管理，對(duì)作業(yè)實(shí)例的管理，并且提供數(shù)據(jù)上傳下載的數(shù)據(jù)通道，同時(shí)也提供安全與權(quán)限管理等其他的操作。接下來(lái)就為大家依次介紹。

項(xiàng)目空間相關(guān)操作
在連接項(xiàng)目之前首先已經(jīng)創(chuàng)建了一個(gè)MaxCompute項(xiàng)目，在使用項(xiàng)目的時(shí)候可以使用類似于Hive數(shù)據(jù)庫(kù)一樣“use <project_name>;”這樣的命令去跨空間切換，通過(guò)這種方式可以使得用戶在多個(gè)項(xiàng)目之間進(jìn)行快速切換，當(dāng)使用了“use <project_name>;”之后，后續(xù)的所有命令將會(huì)直接應(yīng)用到制定的項(xiàng)目中。

表相關(guān)操作
表相關(guān)操作的命令在odpscmd客戶端工具上能夠很輕松地進(jìn)行操作，其包含了表的創(chuàng)建和刪除以及對(duì)于表的修改，比如修改列名、修改分區(qū)、修改屬主Owner、非分區(qū)數(shù)據(jù)的刪除等。其他的操作諸如show tables也都兼容了Hive的使用習(xí)慣。在下圖中為大家列出了與表相關(guān)的操作命令以及幫助文檔。

視圖及分區(qū)相關(guān)操作
對(duì)于視圖和分區(qū)而言，odpscmd也可以通過(guò)view方式把一些復(fù)雜的處理邏輯進(jìn)行二次封裝，更容易地對(duì)外進(jìn)行暴露。對(duì)于view而言，提供了創(chuàng)建、修改、刪除以及查看的操作。對(duì)于Partition而言，大家關(guān)注的也比較多，常見(jiàn)的就是如何查看表的分區(qū)，通過(guò)show partition <表名>的方式就能夠列出這張表里面有多少個(gè)分區(qū)，同時(shí)分區(qū)的名稱是什么。同時(shí)可以借助alter <表名>的方式將某一個(gè)分區(qū)刪除掉或者修改其命名。

資源與函數(shù)相關(guān)操作
深度用戶在使用時(shí)就會(huì)發(fā)現(xiàn)，很多內(nèi)置函數(shù)不能夠滿足自身邏輯需求，往往會(huì)需要使用一些UDF來(lái)進(jìn)行復(fù)雜計(jì)算，也可以通過(guò)MR來(lái)做更自由的計(jì)算邏輯，這些時(shí)候用戶需要上傳一個(gè)自定義開發(fā)包，這些對(duì)于MaxCompute而言就是資源Resource。通過(guò)odpscmd可以上傳也可以查看項(xiàng)目中的資源。對(duì)于函數(shù)而言，用戶創(chuàng)建UDF的時(shí)候，就可以使用create方式很容易地進(jìn)行創(chuàng)建。

實(shí)例相關(guān)操作
對(duì)于實(shí)例而言，大家可能會(huì)在客戶端運(yùn)行很多作業(yè)，可能在某個(gè)時(shí)間想要看看作業(yè)是否已經(jīng)運(yùn)行完成了，但是又記不住作業(yè)的具體ID是什么，這時(shí)候就可以使用show p和show instance命令來(lái)列出提交過(guò)的歷史作業(yè)，并且還支持按照時(shí)間等條件進(jìn)行過(guò)濾。當(dāng)instance列表獲取之后，對(duì)特定的任務(wù)做操作還可以使用“wait”命令查看其詳情。

Tunnel相關(guān)操作
有一種操作命令實(shí)際上是提交給控制、管理、數(shù)據(jù)查詢作業(yè)的命令，并且還有一部分是做數(shù)據(jù)的上下行，這有別于前面提到的任務(wù)提交，更多的是對(duì)于數(shù)據(jù)的吞吐量要求比較高，因此odpscmd集成了Tunnel工具，能夠在命令行里面進(jìn)行數(shù)據(jù)上傳以及下載等。這里經(jīng)常會(huì)遇到的問(wèn)題就是很多開發(fā)者在自己的生產(chǎn)環(huán)境里面通過(guò)Tunnel做數(shù)據(jù)同步，而這時(shí)候?qū)τ跀帱c(diǎn)續(xù)傳的能力要求就會(huì)比較高了。

安全及權(quán)限相關(guān)操作
很多用戶對(duì)于DataWorks比較熟悉，DataWorks里面有比較簡(jiǎn)單明了的用戶角色授權(quán)管理的能力。而做數(shù)據(jù)庫(kù)的一些同學(xué)則更加習(xí)慣于黑屏的方式，也就是通過(guò)命令方式做安全和權(quán)限的管理。

角色相關(guān)權(quán)限管理
比如對(duì)于角色相關(guān)權(quán)限的管理，可以通過(guò)create role可以在大數(shù)據(jù)項(xiàng)目中創(chuàng)建角色，并對(duì)角色賦權(quán)，將某一個(gè)用戶加入到角色當(dāng)中去，或者移除相關(guān)的角色。同時(shí)也能夠查看究竟有哪些角色。

用戶相關(guān)權(quán)限管理
對(duì)于用戶相關(guān)權(quán)限管理而言，最常見(jiàn)就是將一個(gè)阿里云的賬號(hào)加進(jìn)項(xiàng)目中去，并為用戶指定具體的角色，并獲取對(duì)應(yīng)的權(quán)限。

項(xiàng)目空間的數(shù)據(jù)保護(hù)
一些管理員對(duì)于項(xiàng)目空間的保護(hù)要求比較高，而在MaxCompute當(dāng)中天然對(duì)于多租戶支持方面做了很多工作。比如可以設(shè)置禁止項(xiàng)目數(shù)據(jù)被下載，僅允許幾個(gè)授信的項(xiàng)目之間共享數(shù)據(jù)，這樣就可以將與項(xiàng)目空間相關(guān)的權(quán)限保護(hù)能力都放在odpscmd中。

權(quán)限查看
同時(shí)，odpscmd也給出了權(quán)限查看相關(guān)的命令。

其他操作
odpscmd還提供一些其他常用的操作。大家可能經(jīng)常會(huì)遇到一些性能優(yōu)化的場(chǎng)景，比如對(duì)于一張比較大的數(shù)據(jù)表做掃描分區(qū)的切分，這樣可以增加作業(yè)任務(wù)的并行度，這些優(yōu)化手段的開關(guān)都可以通過(guò)命令行進(jìn)行快速設(shè)置，同時(shí)也可以對(duì)于一些SQL進(jìn)行成本預(yù)估，并且也可以輕松地獲取幫助信息。綜上所述，odpscmd是一個(gè)比較強(qiáng)大并且完整的客戶端工具。

四、客戶端重點(diǎn)場(chǎng)景說(shuō)明
接下來(lái)重點(diǎn)分享幾個(gè)客戶端使用的重點(diǎn)場(chǎng)景。
場(chǎng)景1：通過(guò)shell腳本調(diào)用tunnel命令進(jìn)行文件上下傳
在這種場(chǎng)景下，默認(rèn)會(huì)通過(guò)分隔符的方式進(jìn)行上傳。而當(dāng)用戶遇到了一些非標(biāo)準(zhǔn)化的分隔符時(shí)，通過(guò)-fd方式就能夠快速適配對(duì)應(yīng)的列分隔符。而很多同學(xué)也希望通過(guò)shell腳本的方式能夠動(dòng)態(tài)地進(jìn)行調(diào)度，這里也會(huì)涉及到動(dòng)態(tài)參數(shù)傳入的問(wèn)題。如下圖中示例所示，可以將日期動(dòng)態(tài)地傳入到Tunnel命令當(dāng)中去，周期性地將新增的日志文件上傳或者下載到對(duì)應(yīng)的目錄中去。

場(chǎng)景2：調(diào)試odpscmd命令
在非交互式的場(chǎng)景下，MaxCompute命令支持-f參數(shù)，可在腳本或其它程序中直接以odps -f <文件路徑>的方式支持MaxCompute命令。此外MaxCompute命令還支持-e參數(shù)，在這種方式下需要通過(guò)括號(hào)的方式將SQL命令嵌入進(jìn)去。

場(chǎng)景3：運(yùn)行數(shù)據(jù)查詢/數(shù)據(jù)加工作業(yè)UDF
在odpscmd里面能夠原生地支持UDF和MR，如下圖所示的是UDF作業(yè)的使用流程。

在前兩個(gè)環(huán)節(jié)需要在線下將寫好的UDF編寫好的程序打成Jar包，在命令行當(dāng)中通過(guò)“add jar”的方式把其傳入到指定的項(xiàng)目中作為一個(gè)資源。而通過(guò)createfunction命令可以命名一個(gè)自定義函數(shù)并于上傳的主函數(shù)進(jìn)行關(guān)聯(lián)，這樣就真正地建立了這樣的一個(gè)函數(shù)。之后在測(cè)試或者使用的時(shí)候通過(guò)調(diào)用剛才創(chuàng)建的UDF進(jìn)行使用。這樣就是通過(guò)odpscmd實(shí)現(xiàn)UDF的完整創(chuàng)建。

場(chǎng)景4：運(yùn)行數(shù)據(jù)查詢/數(shù)據(jù)加工作業(yè)MR
對(duì)于MR作業(yè)而言，首先需要在編譯環(huán)境中編寫并打包MR程序，打包完成之后將其作為一個(gè)資源注冊(cè)到項(xiàng)目之中，在odpscmd里面執(zhí)行“add jar”，之后在命令行里面運(yùn)行MR作業(yè)，之后就可以獲得相應(yīng)的結(jié)果。

五、容易碰到的問(wèn)題
接下來(lái)為大家總結(jié)了幾個(gè)常見(jiàn)的問(wèn)題。首先是動(dòng)態(tài)參數(shù)的傳入，因?yàn)閛dpscmd是一種命令行的方式，那么大家通過(guò)shell調(diào)用的比較多，這時(shí)候就涉及到如何將一些動(dòng)態(tài)的參數(shù)調(diào)入進(jìn)去，其實(shí)可以通過(guò)shell的方式變相地將一些動(dòng)態(tài)信息傳遞進(jìn)來(lái)。還有一個(gè)常見(jiàn)的問(wèn)題就是“手工執(zhí)行odpscmd命令正常，通過(guò)shell腳本調(diào)用時(shí)報(bào)錯(cuò)”，此時(shí)就需要檢查shell腳本下有沒(méi)有設(shè)置JAVA的環(huán)境變量。

總結(jié)
本文主要通過(guò)一個(gè)簡(jiǎn)單而又完整的例子具體地描述了借助MaxCompute客戶端進(jìn)行數(shù)據(jù)加工處理的流程。同時(shí)，也為大家介紹了MaxCompute客戶端工具所具有的功能，其不僅僅能夠?qū)崿F(xiàn)建表、查數(shù)據(jù)，還能夠?qū)崿F(xiàn)很多的管理工作。此外，還給大家很多指引性的知識(shí)，希望大家能夠通過(guò)本次分享更好地了解MaxCompute客戶端的使用方式。

?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的阿里云大数据计算服务MaxCompute命令行工具——odpscmd的操作使用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。