日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

DataWorks功能实践速览 — 参数透传

發布時間:2024/9/3 编程问答 35 豆豆
生活随笔 收集整理的這篇文章主要介紹了 DataWorks功能实践速览 — 参数透传 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
簡介: DataWorks功能實踐系列,幫助您解析業務實現過程中的痛點,提高業務功能使用效率!

往期回顧:

  • DataWorks 功能實踐速覽01期——數據同步解決方案:為您介紹不同場景下可選的數據同步方案。
  • DataWorks 功能實踐速覽02期——獨享數據集成資源組:為您介紹進行數據同步時,可使用的資源組與網絡連通方案、注意事項。
  • DataWorks 功能實踐速覽03期——生產開發環境隔離:為您介紹DataWorks通過標準模式提供開發環境與生產環境隔離及不同環境的權限要求。


通過往期的介紹,您已經了解到在DataWorks上進行任務運行的最關鍵的幾個知識點,接下來為您逐步介紹如何通過DataWorks的任務節點實現最常見的數據開發場景。本期為您介紹如何在DataWorks上實現參數透傳,即把上游任務的參數透傳到下游任務。


功能推薦:賦值節點與參數節點

在阿里云DataWorks中,一個數據開發任務最終是拆解為多個節點任務,并通過設置節點間上下游關系最終形成一個完整的數據開發業務流程,如下圖所示。

以上為一個簡單的示例,在實際應用時,我們通常會碰到這樣的情況,拆解出來的上游節點任務會生成一些參數,或上游節點的運行結果,需要在下游節點任務中應用到,這就需要數據開發任務能夠實現參數/節點運行結果在各個節點間的透傳,根據不同的透傳需求,DataWorks提供了兩種特殊節點可以實現:賦值節點參數節點


Part1:賦值節點 - 實現任務結果透傳

當您需要將上游節點任務的結果提供給下游節點使用時,您可使用賦值節點,實現任務結果在節點間傳遞。賦值節點支持ODPS SQL、SHELL和Python三種賦值語言,且根據賦值規則,自動為您添加賦值參數(outputs參數),便于其他節點引用。

使用賦值節點進行透傳參數時,需關注以下三個要點。


1.1賦值節點與上下游節點間的依賴關系

如上圖所示,使用賦值節點透傳參數時:

  • 賦值節點(fuzhi_python、fuzhi_sql、fuzhi_shell)需作為引用賦值節點參數節點(down_compare)的上游節點,下游節點需要與賦值節點設置直接依賴關系(賦值節點為下游節點的一層父節點)
  • 賦值節點作為上游與其它節點配合使用時,請務必先提交賦值節點,以便下游節點在配置時可以解析出參數。


1.2賦值節點與下游節點的上下文參數透傳關系

如下圖所示,通過賦值節點與引用節點的調度配置中的上下文參數配置,形成參數透傳引用關系:

  • 賦值節點(fuzhi_python、fuzhi_sql、fuzhi_shell)需將待賦值給下游的參數添加為節點上下文中的本節點輸出參數
  • 下游引用賦值參數的節點需將待引用的賦值參數添加為節點上下文中的本節點輸入參數

說明:

  • 賦值節點參數傳遞只支持傳遞給一層子節點,不支持跨節點傳遞


1.3賦值語言與賦值結果

引用賦值節點結果時,賦值節點的參數輸出格式與下游節點引用參數方式有關系,不同語言的賦值參數(outputs參數)賦值說明如下。


賦值語言

outputs參數取值

outputs參數格式

outputs參數大小限制

ODPS SQL

最后一行SELECT語句的輸出作為賦值參數,添加為賦值節點的本節點輸出參數,供其他節點引用。

將輸出結果作為一個二維數組傳遞至下游。

傳遞值最大為2 MB。如果賦值語句的輸出結果超過該限制,賦值節點會運行失敗。

SHELL

最后一行ECHO語句的數據,添加為賦值節點的本節點輸出參數,供其他節點引用。

將輸出結果基于逗號(,)分割為一維數組。

Python

最后一行PRINT語句的輸出,添加為賦值節點的本節點輸出參數,供其他節點引用。

將輸出結果基于逗號(,)分割為一維數組。


更多賦值節點的介紹可進入幫助中心查看文檔配置賦值節點。


Part2:參數節點 - 實現參數透傳

參數節點是一種特殊的虛擬節點,用于管理業務流程中的參數和實現參數在任務節點中傳遞,支持常量參數、變量參數和透傳上游節點的參數,需要引用參數的節點直接依賴參數節點即可。

參數節點本質上是一種虛擬節點,不會運行數據計算任務產生數據,主要用于跨節點傳參、參數管理的場景。


2.1跨節點傳參

當數據開發的業務流程中,某個下游節點的任務需要獲取多個、多級上游節點的輸出參數時,您可以使用參數節點,將下游節點需要獲取的所有參數統一添加至參數節點中,后續下游節點可直接掛在參數節點之下,即可獲取到所有所需參數。

以上圖為例,sql_7節點需要獲取sql_1、sql_3、sql_4節點的輸出參數,此時您可以新增一個參數節點,作為sql_1、sql_3、sql_4的下游節點,并將所有sql_7所需參數添加至參數節點中,將sql_7的掛在此參數節點下游,則sql_7可直接通過參數節點獲取到所有所需參數。


2.2參數管理

當數據開發的業務流程中,下游節點的任務需要使用某些常量參數、變量參數時,您可以使用參數節點,將下游節點需要使用的參數均添加至參數節點中,需使用參數的下游節點直接掛在參數節點之下,即可獲取使用所需參數,便于整個業務流程中對所有使用的參數進行統一管理。

以上圖為例,sql_3、sql_4、sql_5、sql_7節點均需使用參數,此時您可以新增一個參數節點,將各個下游節點使用的參數都添加至參數節點中,將需要使用參數的節點掛在此參數節點下游。

更多參數節點的介紹可進入幫助中心查看文檔創建參數節點。


Part3:賦值節點與參數節點的對比


對比項

賦值節點

參數節點

透傳場景

節點運行結果透傳

節點參數透傳

透傳限制

僅能透傳至一層子節點,不支持跨節點透傳

跨節點透傳

節點屬性

一種任務節點,節點中運行賦值任務,支持ODPS SQL、SHELL和Python三種賦值語言

本質上是一種虛擬節點,不會運行任務產生數據




原文鏈接:https://developer.aliyun.com/article/790764?

版權聲明:本文內容由阿里云實名注冊用戶自發貢獻,版權歸原作者所有,阿里云開發者社區不擁有其著作權,亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容,填寫侵權投訴表單進行舉報,一經查實,本社區將立刻刪除涉嫌侵權內容。

總結

以上是生活随笔為你收集整理的DataWorks功能实践速览 — 参数透传的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

主站蜘蛛池模板: 久久综合色鬼 | 亚洲不卡av一区二区 | 中文字幕综合 | 日韩一级黄色片 | 日韩插| 97潮色 | 久久精品视频在线 | 欧美一区二区三区免费观看 | 午夜久久久| 在线观看免费看片 | 女人下面喷水视频 | 91丨porny丨| 怡红院久久| 777久久 | 啪啪福利| av手机在线看 | 波多野结衣办公室双飞 | 日韩在线观看你懂的 | 清清草视频 | 综合激情伊人 | 91无限观看 | 成人做爰66片免费看网站 | 日本黄页网站免费大全 | 亚洲精品在线视频免费观看 | 国产乱妇乱子 | 91激情 | 丁香综合 | a视频在线观看 | 欧美一区二区在线视频 | japanese24hdxxxx日韩| 亚洲天堂五月天 | 黄a免费网络 | 欧美另类人妖 | 大肉大捧一进一出好爽视频动漫 | 国产高清一区在线 | 狠狠综合久久 | 三级欧美韩日大片在线看 | 综合九九 | 日本女人黄色 | 久久人| 精品久久人人妻人人做人人 | 国产精品久久久久毛片软件 | 青娱乐福利视频 | 久久久精品人妻av一区二区三区 | 91在线综合 | 性xxxxbbbb | 国产剧情在线一区 | 激烈娇喘叫1v1高h糙汉 | 天天干,天天操 | www日韩在线观看 | 中文字幕乱码人妻二区三区 | 日本理伦片午夜理伦片 | 日本变态折磨凌虐bdsm在线 | 日本一区二区三区在线观看视频 | yjizz国产 | 国产在线看黄 | 亚洲男人的天堂在线 | 特高潮videossexhd| 国产第一页屁屁影院 | 亚洲日本精品一区 | 日日噜噜噜夜夜爽爽狠狠视频97 | 亚洲第8页 | 午夜激情小视频 | 男人天堂电影 | 日韩中文字幕影院 | 久久只有精品 | 一区二区三区在线观看免费 | 亚洲一区二区三区免费观看 | 禁片天堂 | 免费看污片的网站 | 韩国日本在线 | 国产精品久久久久久白浆 | 99riAv国产精品无码鲁大师 | 337p粉嫩日本欧洲亚洲大胆 | 国产精品v欧美精品v日韩精品 | 日本特黄一级 | 日韩专区一区二区三区 | 理论片大全免费理伦片 | 日韩性xx| 日韩高清av在线 | 播播开心激情网 | 欧美成人第一页 | 免费精品一区二区 | 国产传媒欧美日韩 | 成人精品免费在线观看 | 911成人网 | 午夜在线一区二区三区 | 91精品国自产在线观看 | 北条麻妃av在线 | 一级高清毛片 | 欧美 日韩 中文字幕 | 中日韩在线观看 | 亚洲码欧美码一区二区三区 | 好看的中文字幕电影 | 99久久国产热无码精品免费 | 精品国产精品网麻豆系列 | 日本少妇大战黑人 | 国产孕妇孕交大片孕 | 日韩av男人天堂 |