日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?

發布時間:2024/9/3 编程问答 35 豆豆
生活随笔 收集整理的這篇文章主要介紹了 历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能? 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
簡介:自Dataphin產品上線以來,經歷3年的迭代打磨,在2021年5月15日發布新版本,主要涉及數據源類型拓展,數據集成、實時研發、數據服務功能升級,運維體驗優化等,將滿足更多用戶場景,提升研發體驗。

-更多關于數智化轉型、數據中臺內容請加入阿里云數據中臺交流群—數智俱樂部 和關注官方微信公總號(文末掃描二維碼或點此加入)

-阿里云數據中臺官網 https://dp.alibaba.com/index



Dataphin即智能數據構建與管理平臺

旨在提供從數據接入到數據消費的全鏈路、一站式的大數據能力,包括產品、技術和方法論等,以助力企業打造標準統一、融會貫通、資產化、服務化、閉環自優化的智能數據體系。



版本新特性概況

自Dataphin產品上線以來,經歷3年的迭代打磨,本次2.9.4.2版本在2021年5月15日發布,主要涉及數據源類型拓展,數據集成、實時研發、數據服務功能升級,運維體驗優化等,將滿足更多用戶場景,提升研發體驗



功能升級亮點摘要

1、新增數據源

新增支持Hologres數據源類型,用于后續Hologres數據同步集成,及后續實時Blink任務讀寫使用。

對于使用Hologres數據源的用戶來說,Dataphin支持從Hologres數據集成至計算引擎及多種數據源,同時可從計算引擎及數據源回流至Hologres;支持Blink任務實時讀寫Hologres數據,且在Dataphin流批一體場景中,Hologres可以用作批流一體的統一存儲服務,實時查詢實時寫入,無冗余數據搬遷工作,大幅提升研發效率。



功能場景a. 數據源引入



功能場景b. 離線數據集成



功能場景c. 流批一體

  • 定義Hologres元表,指定數據源及來源表


  • 定義流批虛擬鏡像表,指定鏡像表映射的批流分別寫入的物理表,由于Hologres同時支持離線與實時讀寫,因此兩邊物理表可以均為Hologres表


  • 創建Blink流批一體任務,指定批流參數配置及任務配置,代碼邏輯一致,一套代碼實現兩種調度時效


  • Dataphin流批一體架構圖



2、Blink實時任務支持代碼采樣調試

Blink實時任務支持代碼采樣調試,采樣數據支持本地上傳文件數據、在線抽樣數據、在線編輯輸入數據三種方式,僅兼容支持blink-3.6及以上版本。



升級前Blink任務不支持本地調試,無法在草稿態時驗證作業開發的數據正確性,需要提交到運維后啟動運維的測試實例進行驗證,提交任務之前無法驗證。



升級后在提交Blink任務之前可以進行本地數據采樣,并在Console中輸出任務運行結果,可以即時檢查代碼邏輯是否正確、輸出結果是否符合預期等,驗證正確再進行任務提交,有效保障了任務質量及開發效率。并且我們支持三種采樣方式!自動抽樣數據來源表數據、上傳本地csv文件(提供樣例可下載),或者直接在采樣的面板中進行數據輸入,靈活且方便。



3、運維列表展示對象拓展

運維列表每頁展示對象拓展至100個,默認展示20/頁,可切換20/40/60/80/100個/頁;運維任務DAG圖中支持查看物化代碼及運行日志時自動定位到對應物化節點,提升運維效率



4、數據服務模塊支持新離線數據源

數據服務模塊新增支持AnalyticDB for MySQL 3.0 離線數據源。

新增數據服務管理員角色,作為API權限申請、服務單元權限申請及數據源權限申請的審批人,加強API數據服務出口的權限管控強度,限制API開發者本人對API的廣泛應用權限,需設置專人進行權限審批,API應用安全及權限管控效力大幅增強。



版本小結

本次5月發布的V2.9.4.2版本中,Dataphin圍繞數據源、通用研發、實時研發、運維、數據服務進行功能迭代。

在下一期的迭代中,計劃支持CDH 6計算引擎、審計日志、子賬號下單購買、OpenAPI擴展、監控告警能力升級、MySQL8.0數據源等功能,敬請期待!



我想了解更多:https://dp.alibaba.com/consult




數據中臺是企業數智化的必經之路,阿里巴巴認為數據中臺是集方法論、工具、組織于一體的,“快”、“準”、“全”、“統”、“通”的智能大數據體系。

目前正通過阿里云對外輸出系列解決方案,包括通用數據中臺解決方案、零售數據中臺解決方案、金融數據中臺解決方案、互聯網數據中臺解決方案、政務數據中臺解決方案等細分場景。

其中阿里云數據中臺產品矩陣是以Dataphin為基座,以Quick系列為業務場景化切入,包括:

  • - Dataphin,一站式、智能化的數據構建及管理平臺;
  • - Quick BI,隨時隨地 智能決策;
  • - Quick Audience,全方位洞察、全域營銷、智能增長;
  • - Quick A+, 跨多端全域應用體驗分析及洞察的一站式數據化運營平臺;
  • - Quick Stock, 智能貨品運營平臺;
  • - Quick Decision,智能決策平臺;

官方站點:

數據中臺官網 https://dp.alibaba.com

原文鏈接:https://developer.aliyun.com/article/784660?

版權聲明:本文內容由阿里云實名注冊用戶自發貢獻,版權歸原作者所有,阿里云開發者社區不擁有其著作權,亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容,填寫侵權投訴表單進行舉報,一經查實,本社區將立刻刪除涉嫌侵權內容。

總結

以上是生活随笔為你收集整理的历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。