MaxCompute（原ODPS）是阿里云自主研發(fā)的具有業(yè)界領(lǐng)先水平的分布式大數(shù)據(jù)處理平臺, 尤其在集團(tuán)內(nèi)部得到廣泛應(yīng)用，支撐了多個BU的核心業(yè)務(wù)。 MaxCompute除了持續(xù)優(yōu)化性能外，也致力于提升SQL語言的用戶體驗(yàn)和表達(dá)能力，提高廣大ODPS開發(fā)者的生產(chǎn)力。

MaxCompute基于ODPS2.0新一代的SQL引擎，顯著提升了SQL語言編譯過程的易用性與語言的表達(dá)能力。我們在此推出MaxCompute(ODPS2.0)重裝上陣系列文章

第一彈 - 善用MaxCompute編譯器的錯誤和警告
第二彈 - 新的基本數(shù)據(jù)類型與內(nèi)建函數(shù)
第三彈 - 復(fù)雜類型
第四彈 - CTE，VALUES，SEMIJOIN

上次向您介紹了CTE，VALUES，SEMIJOIN，本篇向您介紹MaxCompute對其他腳本語言的支持 - SELECT TRANSFORM。

• 場景1?
  我的系統(tǒng)要遷移到MaxCompute平臺上，系統(tǒng)中原來有很多功能是使用腳本來完成的，包括python，shell，ruby等腳本。 要遷移到MaxCompute上，我需要把這些腳本全部都改造成UDF/UDAF/UDTF。改造過程不僅需要耗費(fèi)時間人力，還需要做一遍又一遍的測試，從而保證改造成的udf和原來的腳本在邏輯上是等價的。我希望能有更簡單的遷移方式。

• 場景2
  SQL比較擅長的是集合操作，而我需要做的事情要對一條數(shù)據(jù)做更多的精細(xì)的計(jì)算，現(xiàn)有的內(nèi)置函數(shù)不能方便的實(shí)現(xiàn)我想要的功能，而UDF的框架不夠靈活，并且Java/Python我都不太熟悉。相比之下我更擅長寫腳本。我就希望能夠?qū)懸粋€腳本，數(shù)據(jù)全都輸入到我的腳本里來，我自己來做各種計(jì)算，然后把結(jié)果輸出。而MaxCompute平臺就負(fù)責(zé)幫我把數(shù)據(jù)做好切分，讓我的腳本能夠分布式執(zhí)行，負(fù)責(zé)數(shù)據(jù)的輸入表和輸出表的管理，負(fù)責(zé)JOIN，UNION等關(guān)系操作就好了。

上述功能可以使用SELECT TRANSFORM來實(shí)現(xiàn)

SELECT TRANSFORM 介紹

此文中采用MaxCompute Studio作展示，首先，安裝MaxCompute Studio，導(dǎo)入測試MaxCompute項(xiàng)目，創(chuàng)建工程，建立一個新的MaxCompute腳本文件,　如下

提交作業(yè)可以看到執(zhí)行計(jì)劃（全部展開后的視圖）：

Select transform允許sql用戶指定在服務(wù)器上執(zhí)行一句shell命令，將上游數(shù)據(jù)各字段用tab分隔，每條記錄一行，逐行輸入shell命令的stdin，并從stdout讀取數(shù)據(jù)作為輸出，送到下游。Shell命令的本質(zhì)是調(diào)用Unix的一些utility，因此可以啟動其他的腳本解釋器。包括python，java，php，awk，ruby等。

該命令兼容Hive的Transform功能，可以參考Hive的文檔。一些需要注意的點(diǎn)如下：
1. Using 子句指定的是要執(zhí)行的命令，而非資源列表，這一點(diǎn)和大多數(shù)的MaxCompute SQL語法不一樣，這么做是為了和hive的語法保持兼容。
2. 輸入從stdin傳入，輸出從stdout傳出；
3. 可以配置分隔符，默認(rèn)使用 \t 分隔列，用換行分隔行；
4. 可以自定義reader/writer，但用內(nèi)置的reader/writer會快很多
5. 使用自定義的資源（腳本文件，數(shù)據(jù)文件等），可以使用 set odps.sql.session.resources=foo.sh,bar.txt; 來指定。可以指定多個resource文件，用逗號隔開（因此不允許resource名字中包含逗號和分號）。此外我們還提供了resources子句，可以在using 子句后面指定 resources 'foo.sh', 'bar.txt' 來指定資源，兩種方式是等價的（參考“用odps跑測試”的例子）；
6. 資源文件會被下載到執(zhí)行指定命令的工作目錄，可以使用文件接口打開./bar.txt文件。

目前odps select transform完全兼容了hive的語法、功能和行為，包括 input/output row format 以及 reader/writer。Hive上的腳本，大部分可以直接拿來運(yùn)行，部分腳本只需要經(jīng)過少許改動即可運(yùn)行。另外我們很多功能都用比hive更高執(zhí)行效率的語言 (C++) 重構(gòu)，用以優(yōu)化性能。

應(yīng)用場景舉例

理論上select transform能實(shí)現(xiàn)的功能udtf都能實(shí)現(xiàn)，但是select transform比udtf要靈活得多。且select transform不僅支持java和python，還支持shell，perl等其它腳本和工具。 且編寫的過程要簡單，特別適合adhoc功能的實(shí)現(xiàn)。舉幾個例子：
1.?無中生有造數(shù)據(jù)

<span style="color:#24292e"><span style="color:#f8f8f2"><code class="language- language-undefined">select transform(script) using 'sh' as (data) from (select 'for i in `seq 1 50`; do echo $i; done' as script ) t; </code></span></span>

或者使用python

<span style="color:#24292e"><span style="color:#f8f8f2"><code class="language- language-undefined">select transform('for i in xrange(1, 51): print i;') using 'python' as (data); </code></span></span>

上面的語句造出一份有50行的數(shù)據(jù)表，值是從1到50; 測試時候的數(shù)據(jù)就可以方便造出來了。功能看似簡單，但以前是odps的一個痛點(diǎn)，沒有方便的辦法造數(shù)據(jù)，就不方便測試以及初學(xué)者的學(xué)習(xí)和探索。當(dāng)然這也可以通過udtf來實(shí)現(xiàn)，但是需要復(fù)雜的流程：進(jìn)入ide->寫udtf->打包->add jar/python->create function->執(zhí)行->drop function->drop resource。
2.?awk 用戶會很喜歡這個功能

<span style="color:#24292e"><span style="color:#f8f8f2"><code class="language- language-undefined">select transform(*) using "awk '//{print $2}'" as (data) from src; </code></span></span>

上面的語句僅僅是把value原樣輸出，但是熟悉awk的用戶，從此過上了寫awk腳本不寫sql的日子
3.?用odps跑測試

<span style="color:#24292e"><span style="color:#f8f8f2"><code class="language- language-undefined">select transform(key, value) using 'java -cp a.jar org.junit.runner.JUnitCore MyTestClass' resources 'a.jar' from testdata; </code></span></span>

或者

<span style="color:#24292e"><span style="color:#f8f8f2"><code class="language- language-undefined">set odps.sql.session.resources=a.jar; select transform(key, value) using 'java -cp a.jar org.junit.runner.JUnitCore MyTestClass' from testdata; </code></span></span>

這個例子是為了說明，很多java的utility可以直接拿來運(yùn)行。java和python雖然有現(xiàn)成的udtf框架，但是用select transform編寫更簡單，并且不需要額外依賴，也沒有格式要求，甚至可以實(shí)現(xiàn)離線腳本拿來直接就用。
4.?支持其他腳本語言

<span style="color:#24292e"><span style="color:#f8f8f2"><code class="language- language-undefined">select transform (key, value) using "perl -e 'while($input = <STDIN>){print $input;}'" from src; </code></span></span>

上面用的是perl。這其實(shí)不僅僅是語言支持的擴(kuò)展，一些簡單的功能，awk, python, perl, shell 都支持直接在命令里面寫腳本，不需要寫腳本文件，上傳資源等過程，開發(fā)過程更簡單。另外，由于目前我們計(jì)算集群上沒有php和ruby，所以這兩種腳本不支持。
5.?可以串聯(lián)著用，使用 distribute by和 sort by對輸入數(shù)據(jù)做預(yù)處理

<span style="color:#24292e"><span style="color:#f8f8f2"><code class="language- language-undefined">select transform(key, value) using 'cmd2' from (select transform(*) using 'cmd1' from (select * from data distribute by col2 sort by col1) t distribute by key sort by value ) t2; </code></span></span>

或者用map，reduce的關(guān)鍵字會讓邏輯顯得清楚一些

<span style="color:#24292e"><span style="color:#f8f8f2"><code class="language- language-undefined">@a := select * from data distribute by col2 sort by col1; @b := map * using 'cmd1' distribute by col1 sort by col2 from @a; reduce * using 'cmd2' from @b; </code></span></span>

理論上OpenMR的模型都可以映射到上面的計(jì)算過程。注意，使用map,reduce,select transform這幾個語法其實(shí)語義是一樣的，用哪個關(guān)鍵字，哪種寫法，不影響直接過程和結(jié)果。

性能

性能上，SELECT TRANSFORM 與UDTF 各有千秋。經(jīng)過多種場景對比測試，數(shù)據(jù)量較小時，大多數(shù)場景下select transform有優(yōu)勢，而數(shù)據(jù)量大時UDTF有優(yōu)勢。由于transform的開發(fā)更加簡便，所以select transform非常適合做adhoc的數(shù)據(jù)分析。

UDTF的優(yōu)勢：

UDTF是有類型，而Transform的子進(jìn)程基于stdin/stdout傳輸數(shù)據(jù)，所有數(shù)據(jù)都當(dāng)做string處理，因此transform多了一步類型轉(zhuǎn)換；

Transform數(shù)據(jù)傳輸依賴于操作系統(tǒng)的管道，而目前管道的buffer僅有4KB，且不能設(shè)置, transform讀/寫 空/滿 的pipe會導(dǎo)致進(jìn)程被掛起;

UDTF的常量參數(shù)可以不用傳輸，而Transform沒辦法利用這個優(yōu)化。

SELECT TRANSFORM 的優(yōu)勢：

子進(jìn)程和父進(jìn)程是兩個進(jìn)程，而UDTF是單線程的，如果計(jì)算占比比較高，數(shù)據(jù)吞吐量比較小，可以利用服務(wù)器的多核特性

數(shù)據(jù)的傳輸通過更底層的系統(tǒng)調(diào)用來讀寫，效率比java高

SELECT TRANSFORM支持的某些工具，如awk，是natvie代碼實(shí)現(xiàn)的，和java相比理論上可能會有性能優(yōu)勢。

小結(jié)

MaxCompute基于ODPS2.0的SQL引擎，提供了SELECT TRANSFORM功能，可以明顯簡化對腳本代碼的引用，與此同時，也提高了性能！我們推薦您盡量使用SELECT TRANSFORM。

標(biāo)注

• 注一，USING 后面的字符串，在后臺是直接起的子進(jìn)程來調(diào)起命令，沒有起shell，所以shell的某些語法，如輸入輸出重定向，管道等是不支持的。如果用戶需要可以以 shell 作為命令，真正的命令作為數(shù)據(jù)輸入，參考“無中生有造數(shù)據(jù)”的例子；
• 注二，JAVA 和 PYTHON 的實(shí)際路徑，可以從JAVA_HOME 和 PYTHON_HOME 環(huán)境變量中得到作業(yè)；

?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的MaxCompute - ODPS重装上阵　第五弹 - SELECT TRANSFORM的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。