?本文由 SequoiaDB巨杉數(shù)據(jù)庫(kù)合伙人兼研發(fā)VP許建輝?撰寫并投遞參與由數(shù)據(jù)猿&上海大數(shù)據(jù)聯(lián)盟聯(lián)合推出的“行業(yè)盤點(diǎn)季之?dāng)?shù)智化轉(zhuǎn)型升級(jí)”大型主題策劃活動(dòng)之《2021中國(guó)企業(yè)數(shù)智化轉(zhuǎn)型升級(jí)先鋒人物》榜單/獎(jiǎng)項(xiàng)的評(píng)選。

?

互聯(lián)網(wǎng)的嶄新格局催生了5G、云計(jì)算、大數(shù)據(jù)等新興技術(shù)，企業(yè)的數(shù)智化、智能化轉(zhuǎn)型勢(shì)在必行。

數(shù)據(jù)已然成為數(shù)字經(jīng)濟(jì)中關(guān)鍵的生產(chǎn)要素，它如同燃油和電力一樣為不同組織注入源源不斷的能源。而數(shù)據(jù)庫(kù)作為企業(yè)級(jí)基礎(chǔ)軟件，是我國(guó)數(shù)智化轉(zhuǎn)型和國(guó)產(chǎn)化進(jìn)程中的重要一環(huán)。

因此，如何讓諸如數(shù)據(jù)庫(kù)的“新基建”賦能上層應(yīng)用，協(xié)助企業(yè)數(shù)智化轉(zhuǎn)型，是所有底層技術(shù)企業(yè)都應(yīng)思考的問題。

后疫情時(shí)代的企業(yè)數(shù)智化轉(zhuǎn)型

新冠疫情的突發(fā)，使得數(shù)據(jù)進(jìn)入到了一個(gè)裂變式增長(zhǎng)期，同時(shí)也在推動(dòng)著各行各業(yè)的數(shù)智化轉(zhuǎn)型升級(jí)。數(shù)智化不斷促使產(chǎn)業(yè)變革，人們看到了“新基建”背后蘊(yùn)藏的巨大經(jīng)濟(jì)活力，大批企業(yè)朝著人工智能、大數(shù)據(jù)方向發(fā)展，并努力尋求發(fā)展的創(chuàng)新點(diǎn)和增長(zhǎng)點(diǎn)。

根據(jù)業(yè)界權(quán)威機(jī)構(gòu)的統(tǒng)計(jì)，全球的數(shù)據(jù)量將從2020年的55ZB，增加到2025年的175ZB，這意味著未來五年數(shù)據(jù)量將會(huì)有2倍以上的增長(zhǎng)。可以說，未來市場(chǎng)的競(jìng)爭(zhēng)其實(shí)是數(shù)據(jù)的競(jìng)爭(zhēng)，誰處理好了數(shù)據(jù)，誰就掌握了核心制勝點(diǎn)。

數(shù)據(jù)成為企業(yè)發(fā)展的新動(dòng)能，而企業(yè)的數(shù)智化轉(zhuǎn)型則是順應(yīng)時(shí)代潮流、響應(yīng)國(guó)家政策號(hào)召的必由之路。在轉(zhuǎn)型的進(jìn)程中，企業(yè)應(yīng)該關(guān)注難點(diǎn)和痛點(diǎn)問題，并結(jié)合自身的資源和能力水平對(duì)癥下藥，從而找到最優(yōu)的解決方案。通過我的觀察，發(fā)現(xiàn)企業(yè)在數(shù)智化轉(zhuǎn)型的過程中有可能會(huì)面臨以下兩方面的瓶頸：

一、數(shù)據(jù)研發(fā)團(tuán)隊(duì)的“人效”瓶頸

“羅馬不是一天建成的”，企業(yè)的數(shù)智化系統(tǒng)往往是分階段、分項(xiàng)目建立起來的。在不同的建設(shè)周期的項(xiàng)目中，各個(gè)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)模型，甚至是數(shù)據(jù)庫(kù)引擎都不盡相同。這樣的建立方法，不但會(huì)引起數(shù)據(jù)孤島的問題，還將導(dǎo)致企業(yè)在數(shù)據(jù)管理過程中出現(xiàn)“人效”的問題。

企業(yè)往往需要為不同的數(shù)據(jù)庫(kù)構(gòu)建全流程運(yùn)維機(jī)制（包括：軟硬件、運(yùn)維指南、監(jiān)控系統(tǒng)等），并聘用獨(dú)立運(yùn)維及開發(fā)人員團(tuán)隊(duì)。而不同數(shù)據(jù)庫(kù)之間，由于數(shù)據(jù)層并不通用，因此當(dāng)兩個(gè)系統(tǒng)需要進(jìn)行數(shù)據(jù)交換時(shí)，又需要通過ETL或應(yīng)用程序單獨(dú)開發(fā)數(shù)據(jù)流動(dòng)的組件，這樣將進(jìn)一步消耗研發(fā)人力和提高后續(xù)管理的復(fù)雜度。這些問題都導(dǎo)致了企業(yè)在數(shù)智化轉(zhuǎn)型過程中，無法充分釋放“人效”，也無法將有限的技術(shù)人力投入到業(yè)務(wù)增值的方向上。

二、數(shù)據(jù)調(diào)度的“能效”瓶頸

獲得數(shù)據(jù)調(diào)度“效能”最有效的途徑，就是構(gòu)建統(tǒng)一的數(shù)據(jù)基礎(chǔ)設(shè)施，讓不同的數(shù)據(jù)之間可以無縫對(duì)接共享，避免數(shù)據(jù)在不同數(shù)據(jù)庫(kù)產(chǎn)品間的頻繁流動(dòng)。在國(guó)家“低碳環(huán)保”的發(fā)展戰(zhàn)略下，統(tǒng)一的數(shù)據(jù)基礎(chǔ)設(shè)施一方面可以減少數(shù)據(jù)流動(dòng)導(dǎo)致的CPU計(jì)算、磁盤IO占用及網(wǎng)絡(luò)帶寬消耗；另一方面還可以避免數(shù)據(jù)的過分冗余，降低數(shù)據(jù)的總體使用空間。

然而這并不簡(jiǎn)單，正如我前面所言，在企業(yè)的數(shù)智化系統(tǒng)的演進(jìn)過程中，由于不同的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型的需求，需要引入多種數(shù)據(jù)庫(kù)產(chǎn)品。由于這些產(chǎn)品間的數(shù)據(jù)無法直接共用，因此就只能通過頻發(fā)的數(shù)據(jù)調(diào)度、數(shù)據(jù)同步，來實(shí)現(xiàn)各個(gè)系統(tǒng)間的數(shù)據(jù)調(diào)用，因此浪費(fèi)了大量的系統(tǒng)“效能”。

夯實(shí)數(shù)據(jù)庫(kù)根科技，提升企業(yè)數(shù)智化轉(zhuǎn)型的“人效”和“能效”

如今市場(chǎng)中有眾多處理數(shù)據(jù)的產(chǎn)品，但只有將基礎(chǔ)軟件作為轉(zhuǎn)型的核心，才能從本質(zhì)上幫助企業(yè)在第一時(shí)間洞察海量數(shù)據(jù)背后的價(jià)值，從而有效驅(qū)動(dòng)企業(yè)高速發(fā)展，占據(jù)行業(yè)發(fā)展先機(jī)。

我在數(shù)據(jù)庫(kù)領(lǐng)域有著十二年的從業(yè)經(jīng)驗(yàn)，作為國(guó)內(nèi)分布式技術(shù)的開拓者，我清楚地認(rèn)識(shí)到，基于引擎級(jí)多模技術(shù)，通過數(shù)據(jù)庫(kù)的“湖倉(cāng)一體”架構(gòu)，可以有效幫助企業(yè)增強(qiáng)數(shù)據(jù)復(fù)用能力，全方位提升管理及開發(fā)效率。具體而言，我認(rèn)為可以通過以下兩個(gè)方面的技術(shù)，幫助企業(yè)突破在數(shù)智化轉(zhuǎn)型過程中面臨的“人效”和“能效”瓶頸。

一、通過分布式多模技術(shù)提升企業(yè)運(yùn)作“人效”

首先，借助“湖倉(cāng)一體”技術(shù)架構(gòu)下的引擎級(jí)多模技術(shù)能力（Multi-Model），數(shù)據(jù)庫(kù)可以基于統(tǒng)一的數(shù)據(jù)源，面向不同的開發(fā)團(tuán)隊(duì)提供包括：結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的數(shù)據(jù)模型，甚至提供兼容多引擎的SQL接口。這使得不同的研發(fā)團(tuán)隊(duì)可以基于同一份數(shù)據(jù)進(jìn)行業(yè)務(wù)處理，應(yīng)業(yè)務(wù)的需求自由選擇適合業(yè)務(wù)的SQL語言，提升開發(fā)及管理效率。

同時(shí)，通過序列時(shí)鐘協(xié)議或其他分布式時(shí)鐘技術(shù)，可以有效控制分布式架構(gòu)下時(shí)鐘調(diào)用延遲，以提供高性能的事務(wù)能力，甚至是與傳統(tǒng)集中式數(shù)據(jù)庫(kù)相同的RR事務(wù)隔離級(jí)別。開發(fā)者可以放心地將事務(wù)一致性邏輯交由分布式數(shù)據(jù)庫(kù)層進(jìn)行處理，讓開發(fā)人員回歸到純粹的業(yè)務(wù)設(shè)計(jì)中，提升企業(yè)研發(fā)“人效”。

二、通過融合聯(lián)機(jī)處理能力提升企業(yè)運(yùn)作“能效”

在數(shù)據(jù)融合處理能力方面，“湖倉(cāng)一體”可以將各類原始數(shù)據(jù)統(tǒng)一存儲(chǔ)，通過權(quán)限及租戶隔離實(shí)現(xiàn)數(shù)據(jù)的共享及安全保護(hù)。因此數(shù)據(jù)可以天然打通，避免由于不同引擎間的頻發(fā)傳輸導(dǎo)致性能損耗，也避免了數(shù)據(jù)在各引擎間的數(shù)據(jù)冗余導(dǎo)致空間浪費(fèi)。

例如，企業(yè)在數(shù)智化轉(zhuǎn)型過程中，非結(jié)構(gòu)化數(shù)據(jù)（如同：音視頻、聲紋指紋、人臉識(shí)別等）已經(jīng)進(jìn)入到在線業(yè)務(wù)系統(tǒng)中，成為了海量數(shù)據(jù)的新入口。這些數(shù)據(jù)不但容量上遠(yuǎn)超結(jié)構(gòu)化數(shù)據(jù)，而且通過持續(xù)迭代的AI和機(jī)器學(xué)習(xí)處理，會(huì)不斷產(chǎn)生海量的結(jié)構(gòu)化或半結(jié)構(gòu)化標(biāo)簽數(shù)據(jù)，對(duì)底層數(shù)據(jù)處理平臺(tái)提出了更高的實(shí)時(shí)聯(lián)機(jī)處理能力要求。通過“湖倉(cāng)一體”實(shí)現(xiàn)交易分析一體化、流批一體化、多模數(shù)據(jù)一體化，就可以為里面存儲(chǔ)的每一個(gè)對(duì)象賦予標(biāo)簽、描述和內(nèi)容進(jìn)行統(tǒng)一有效的管理、分類、檢索和查詢，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)治理，從而提升企業(yè)內(nèi)數(shù)據(jù)的整體“能效”。

?目前，巨杉數(shù)據(jù)庫(kù)的“湖倉(cāng)一體”架構(gòu)已在超過100家金融銀行業(yè)客戶規(guī)模化生產(chǎn)上線應(yīng)用。在金融銀行業(yè)生產(chǎn)環(huán)境中，運(yùn)行時(shí)間最長(zhǎng)的巨杉數(shù)據(jù)庫(kù)集群已經(jīng)超過7年，最大單客戶集群規(guī)模達(dá)300臺(tái)物理服務(wù)器，所管理的單集群最大數(shù)據(jù)量超過1萬2000億條。未來企業(yè)數(shù)據(jù)將持續(xù)爆發(fā)增長(zhǎng)，巨杉將面向核心應(yīng)用場(chǎng)景的高價(jià)值數(shù)據(jù)，為千行百業(yè)提供數(shù)智化轉(zhuǎn)型的基礎(chǔ)服務(wù)。

當(dāng)今社會(huì)，數(shù)據(jù)已然成為鏈接萬物的關(guān)鍵。無論是傳統(tǒng)行業(yè)還是新興產(chǎn)業(yè)，都在積極地進(jìn)行數(shù)智化、智能化改造升級(jí)。而數(shù)據(jù)庫(kù)作為企業(yè)級(jí)基礎(chǔ)軟件，能夠從技術(shù)層面出發(fā)，幫助企業(yè)實(shí)現(xiàn)內(nèi)部的數(shù)智化轉(zhuǎn)型升級(jí)，從而做到真正意義上的降本提效。

數(shù)據(jù)量的激增，將促使更多的企業(yè)往數(shù)智化方向進(jìn)行轉(zhuǎn)型，而數(shù)智化又將持續(xù)為全球數(shù)據(jù)帶來爆炸性的增量發(fā)展，并為數(shù)據(jù)庫(kù)行業(yè)帶來全新的市場(chǎng)機(jī)遇。數(shù)據(jù)與數(shù)智化之間實(shí)際上是雙向的推動(dòng)力，它們之間彼此作用，共同促進(jìn)數(shù)字經(jīng)濟(jì)達(dá)到新的增長(zhǎng)點(diǎn)。

巨杉數(shù)據(jù)庫(kù)SequoiaDB將持續(xù)夯實(shí)底層根科技，基于湖倉(cāng)一體架構(gòu)構(gòu)建新一代國(guó)產(chǎn)數(shù)據(jù)庫(kù)，降低數(shù)據(jù)流動(dòng)帶來的開發(fā)成本及計(jì)算存儲(chǔ)開銷，成為提升企業(yè)數(shù)智化轉(zhuǎn)型期“人效”和“能效”的數(shù)據(jù)基礎(chǔ)設(shè)施。

作者個(gè)人簡(jiǎn)介

許建輝，SequoiaDB巨杉數(shù)據(jù)庫(kù)合伙人兼研發(fā)VP，擁有超過12年數(shù)據(jù)庫(kù)、分布式架構(gòu)研發(fā)經(jīng)驗(yàn)。前華為分布式數(shù)據(jù)庫(kù)和分布式存儲(chǔ)團(tuán)隊(duì)成員，是國(guó)內(nèi)最早一批研究分布式技術(shù)的開拓者。2012年加入SequoiaDB，作為總架構(gòu)師，負(fù)責(zé)數(shù)據(jù)庫(kù)的架構(gòu)設(shè)計(jì)、數(shù)據(jù)庫(kù)技術(shù)創(chuàng)新和研發(fā)管理工作，協(xié)助巨杉數(shù)據(jù)庫(kù)服務(wù)于金融、能源、運(yùn)營(yíng)商、政府等多個(gè)行業(yè)，為眾多客戶提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)設(shè)施。

?

總結(jié)

以上是生活随笔為你收集整理的夯实数据库根科技，提升企业数智化转型的“人效”和“能效” | 数据猿的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。