簡(jiǎn)介：自Dataphin產(chǎn)品上線以來(lái)，經(jīng)歷3年的迭代打磨，在2021年5月15日發(fā)布新版本，主要涉及數(shù)據(jù)源類(lèi)型拓展，數(shù)據(jù)集成、實(shí)時(shí)研發(fā)、數(shù)據(jù)服務(wù)功能升級(jí)，運(yùn)維體驗(yàn)優(yōu)化等，將滿足更多用戶場(chǎng)景，提升研發(fā)體驗(yàn)。

-更多關(guān)于數(shù)智化轉(zhuǎn)型、數(shù)據(jù)中臺(tái)內(nèi)容請(qǐng)加入阿里云數(shù)據(jù)中臺(tái)交流群—數(shù)智俱樂(lè)部 和關(guān)注官方微信公總號(hào)（文末掃描二維碼或點(diǎn)此加入）

-阿里云數(shù)據(jù)中臺(tái)官網(wǎng) https://dp.alibaba.com/index

---

Dataphin即智能數(shù)據(jù)構(gòu)建與管理平臺(tái)

旨在提供從數(shù)據(jù)接入到數(shù)據(jù)消費(fèi)的全鏈路、一站式的大數(shù)據(jù)能力，包括產(chǎn)品、技術(shù)和方法論等，以助力企業(yè)打造標(biāo)準(zhǔn)統(tǒng)一、融會(huì)貫通、資產(chǎn)化、服務(wù)化、閉環(huán)自優(yōu)化的智能數(shù)據(jù)體系。

版本新特性概況

自Dataphin產(chǎn)品上線以來(lái)，經(jīng)歷3年的迭代打磨，本次2.9.4.2版本在2021年5月15日發(fā)布，主要涉及數(shù)據(jù)源類(lèi)型拓展，數(shù)據(jù)集成、實(shí)時(shí)研發(fā)、數(shù)據(jù)服務(wù)功能升級(jí)，運(yùn)維體驗(yàn)優(yōu)化等，將滿足更多用戶場(chǎng)景，提升研發(fā)體驗(yàn)：

功能升級(jí)亮點(diǎn)摘要

1、新增數(shù)據(jù)源

新增支持Hologres數(shù)據(jù)源類(lèi)型，用于后續(xù)Hologres數(shù)據(jù)同步集成，及后續(xù)實(shí)時(shí)Blink任務(wù)讀寫(xiě)使用。

對(duì)于使用Hologres數(shù)據(jù)源的用戶來(lái)說(shuō)，Dataphin支持從Hologres數(shù)據(jù)集成至計(jì)算引擎及多種數(shù)據(jù)源，同時(shí)可從計(jì)算引擎及數(shù)據(jù)源回流至Hologres；支持Blink任務(wù)實(shí)時(shí)讀寫(xiě)Hologres數(shù)據(jù)，且在Dataphin流批一體場(chǎng)景中，Hologres可以用作批流一體的統(tǒng)一存儲(chǔ)服務(wù)，實(shí)時(shí)查詢實(shí)時(shí)寫(xiě)入，無(wú)冗余數(shù)據(jù)搬遷工作，大幅提升研發(fā)效率。

功能場(chǎng)景a. 數(shù)據(jù)源引入

功能場(chǎng)景b. 離線數(shù)據(jù)集成

功能場(chǎng)景c. 流批一體

• 定義Hologres元表，指定數(shù)據(jù)源及來(lái)源表

• 定義流批虛擬鏡像表，指定鏡像表映射的批流分別寫(xiě)入的物理表，由于Hologres同時(shí)支持離線與實(shí)時(shí)讀寫(xiě)，因此兩邊物理表可以均為Hologres表

• 創(chuàng)建Blink流批一體任務(wù)，指定批流參數(shù)配置及任務(wù)配置，代碼邏輯一致，一套代碼實(shí)現(xiàn)兩種調(diào)度時(shí)效

• Dataphin流批一體架構(gòu)圖

2、Blink實(shí)時(shí)任務(wù)支持代碼采樣調(diào)試

Blink實(shí)時(shí)任務(wù)支持代碼采樣調(diào)試，采樣數(shù)據(jù)支持本地上傳文件數(shù)據(jù)、在線抽樣數(shù)據(jù)、在線編輯輸入數(shù)據(jù)三種方式，僅兼容支持blink-3.6及以上版本。

升級(jí)前Blink任務(wù)不支持本地調(diào)試，無(wú)法在草稿態(tài)時(shí)驗(yàn)證作業(yè)開(kāi)發(fā)的數(shù)據(jù)正確性，需要提交到運(yùn)維后啟動(dòng)運(yùn)維的測(cè)試實(shí)例進(jìn)行驗(yàn)證，提交任務(wù)之前無(wú)法驗(yàn)證。

升級(jí)后在提交Blink任務(wù)之前可以進(jìn)行本地?cái)?shù)據(jù)采樣，并在Console中輸出任務(wù)運(yùn)行結(jié)果，可以即時(shí)檢查代碼邏輯是否正確、輸出結(jié)果是否符合預(yù)期等，驗(yàn)證正確再進(jìn)行任務(wù)提交，有效保障了任務(wù)質(zhì)量及開(kāi)發(fā)效率。并且我們支持三種采樣方式！自動(dòng)抽樣數(shù)據(jù)來(lái)源表數(shù)據(jù)、上傳本地csv文件（提供樣例可下載），或者直接在采樣的面板中進(jìn)行數(shù)據(jù)輸入，靈活且方便。

3、運(yùn)維列表展示對(duì)象拓展

運(yùn)維列表每頁(yè)展示對(duì)象拓展至100個(gè)，默認(rèn)展示20/頁(yè)，可切換20/40/60/80/100個(gè)/頁(yè)；運(yùn)維任務(wù)DAG圖中支持查看物化代碼及運(yùn)行日志時(shí)自動(dòng)定位到對(duì)應(yīng)物化節(jié)點(diǎn)，提升運(yùn)維效率

4、數(shù)據(jù)服務(wù)模塊支持新離線數(shù)據(jù)源

數(shù)據(jù)服務(wù)模塊新增支持AnalyticDB for MySQL 3.0 離線數(shù)據(jù)源。

新增數(shù)據(jù)服務(wù)管理員角色，作為API權(quán)限申請(qǐng)、服務(wù)單元權(quán)限申請(qǐng)及數(shù)據(jù)源權(quán)限申請(qǐng)的審批人，加強(qiáng)API數(shù)據(jù)服務(wù)出口的權(quán)限管控強(qiáng)度，限制API開(kāi)發(fā)者本人對(duì)API的廣泛應(yīng)用權(quán)限，需設(shè)置專(zhuān)人進(jìn)行權(quán)限審批，API應(yīng)用安全及權(quán)限管控效力大幅增強(qiáng)。

版本小結(jié)

本次5月發(fā)布的V2.9.4.2版本中，Dataphin圍繞數(shù)據(jù)源、通用研發(fā)、實(shí)時(shí)研發(fā)、運(yùn)維、數(shù)據(jù)服務(wù)進(jìn)行功能迭代。

在下一期的迭代中，計(jì)劃支持CDH 6計(jì)算引擎、審計(jì)日志、子賬號(hào)下單購(gòu)買(mǎi)、OpenAPI擴(kuò)展、監(jiān)控告警能力升級(jí)、MySQL8.0數(shù)據(jù)源等功能，敬請(qǐng)期待！

我想了解更多：https://dp.alibaba.com/consult

---

數(shù)據(jù)中臺(tái)是企業(yè)數(shù)智化的必經(jīng)之路，阿里巴巴認(rèn)為數(shù)據(jù)中臺(tái)是集方法論、工具、組織于一體的，“快”、“準(zhǔn)”、“全”、“統(tǒng)”、“通”的智能大數(shù)據(jù)體系。

目前正通過(guò)阿里云對(duì)外輸出系列解決方案，包括通用數(shù)據(jù)中臺(tái)解決方案、零售數(shù)據(jù)中臺(tái)解決方案、金融數(shù)據(jù)中臺(tái)解決方案、互聯(lián)網(wǎng)數(shù)據(jù)中臺(tái)解決方案、政務(wù)數(shù)據(jù)中臺(tái)解決方案等細(xì)分場(chǎng)景。

其中阿里云數(shù)據(jù)中臺(tái)產(chǎn)品矩陣是以Dataphin為基座，以Quick系列為業(yè)務(wù)場(chǎng)景化切入，包括：

• - Dataphin，一站式、智能化的數(shù)據(jù)構(gòu)建及管理平臺(tái)；
• - Quick BI，隨時(shí)隨地 智能決策；
• - Quick Audience，全方位洞察、全域營(yíng)銷(xiāo)、智能增長(zhǎng)；
• - Quick A+， 跨多端全域應(yīng)用體驗(yàn)分析及洞察的一站式數(shù)據(jù)化運(yùn)營(yíng)平臺(tái)；
• - Quick Stock， 智能貨品運(yùn)營(yíng)平臺(tái)；
• - Quick Decision，智能決策平臺(tái)；

官方站點(diǎn)：

數(shù)據(jù)中臺(tái)官網(wǎng) https://dp.alibaba.com

原文鏈接：https://developer.aliyun.com/article/784660?

版權(quán)聲明：本文內(nèi)容由阿里云實(shí)名注冊(cè)用戶自發(fā)貢獻(xiàn)，版權(quán)歸原作者所有，阿里云開(kāi)發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請(qǐng)查看《阿里云開(kāi)發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開(kāi)發(fā)者社區(qū)知識(shí)產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫(xiě)侵權(quán)投訴表單進(jìn)行舉報(bào)，一經(jīng)查實(shí)，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的历经3年的打磨，数据构建及管理平台Dataphin增加了什么新功能？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。