對很多技術(shù)團隊來說，在搭建智能數(shù)據(jù)架構(gòu)的過程中，或多或少會遇到一些疑惑和挑戰(zhàn)，經(jīng)過多次實踐后，有些團隊已經(jīng)破除疑惑，成功探索出一條搭建智能數(shù)據(jù)架構(gòu)之路，那么他們是如何實現(xiàn)這一技術(shù)的呢？在近日的個推技術(shù)沙龍成都站，幾位架構(gòu)大師在現(xiàn)場開啟了數(shù)據(jù)技術(shù)的“腦暴時間”。

---

諾基亞網(wǎng)絡(luò)成都研發(fā)中心研發(fā)經(jīng)理

劉朋 《數(shù)據(jù)增長時代的研發(fā)管理》

企業(yè)在應(yīng)對數(shù)據(jù)增長帶來的巨大挑戰(zhàn)時，需在研發(fā)和管理方面做好充足準備。

研發(fā)方面，提升數(shù)據(jù)存儲的擴展性；管理方面，除了增加對人和設(shè)備的管理外，要努力打造一支具有數(shù)據(jù)驅(qū)動型領(lǐng)導(dǎo)力的團隊，讓團隊中的決策以數(shù)據(jù)為依據(jù)，同時創(chuàng)造出以數(shù)據(jù)為核心的文化氛圍。

大數(shù)據(jù)時代，想要成為一名數(shù)據(jù)驅(qū)動型領(lǐng)導(dǎo)(Data-Driver Leader)，需要具備三大招式。

第一招：關(guān)注研發(fā)團隊的經(jīng)濟效益數(shù)據(jù)（Take an Economic View）

研發(fā)團隊不僅是成本中心，他們也具有創(chuàng)造經(jīng)濟效益的能力，作為一名數(shù)據(jù)驅(qū)動型領(lǐng)導(dǎo)，在日常工作中要關(guān)注相關(guān)技術(shù)實踐能否為公司帶來經(jīng)濟利益。

第二招：讓團隊數(shù)據(jù)可視化(Transparency)

在一支研發(fā)團隊中，部門領(lǐng)導(dǎo)需要將數(shù)據(jù)可視化，讓團隊中的每個人都對核心數(shù)據(jù)有所了解，這樣一來，當(dāng)問題出現(xiàn)時，每個人都有能力去解決。

第三招：基于數(shù)據(jù)，及時快速反饋(Fast Feedback)

在團隊運行過程中，作為領(lǐng)導(dǎo)者，不僅要制定好相應(yīng)規(guī)劃，同時要不斷分析數(shù)據(jù)查找問題，并基于數(shù)據(jù)以及KPI給成員提供反饋。

雖然數(shù)據(jù)驅(qū)動型領(lǐng)導(dǎo)在推動公司決策方面具有重要作用，但隨著公司人員的擴充，部門墻和局部優(yōu)化（Sub-optimization）越來越明顯，此時需要打破部門墻，讓各個部門和團隊都能圍繞一個共同的目標進行協(xié)作，以達到效益最大化的目標。

---

個推大數(shù)據(jù)架構(gòu)師

袁凱 《機器學(xué)習(xí)平臺建設(shè)與實踐》

機器學(xué)習(xí)工作的常規(guī)流程：運營者首先要將商業(yè)問題轉(zhuǎn)化為機器學(xué)習(xí)能夠解決的問題，然后再進行數(shù)據(jù)收集以及清洗和聚合的工作，接下來開啟數(shù)據(jù)探索和特征工程，經(jīng)過上述步驟，便能得到事物預(yù)測所需要的全部因素，此時，運營者可以選用不同的算法，并將算法進行訓(xùn)練，得到相應(yīng)的應(yīng)用模型。最后，運營者還需要利用真實的數(shù)據(jù)進行驗證，確保模型的可行性。

機器學(xué)習(xí)作為一門多領(lǐng)域交叉學(xué)科，是解決許多實際問題的有效工具。個推通過機器學(xué)習(xí)，構(gòu)建了獨有的冷、熱、溫標簽，用以分析不同群體的基礎(chǔ)屬性和行為特征，描繪用戶的精準畫像，最終運用于智能推送和精準營銷。

想要完成機器學(xué)習(xí)平臺的建設(shè)，需要注意三大要點：

1.只有端到端的平臺建設(shè)才會真正產(chǎn)生價值，同時，特征工程的數(shù)據(jù)和代碼沉淀需要共享運營。

2.從成效出發(fā)，聚焦痛點，不要盲目跟隨行業(yè)，做好系統(tǒng)和培訓(xùn)的一體化。

3.謹慎引入新技術(shù)棧。

為了避免機器學(xué)習(xí)平臺建設(shè)中出現(xiàn)的常見問題，個推的建模平臺會提供相應(yīng)的IDE以及呈現(xiàn)相應(yīng)特征的管理系統(tǒng)，同時還能提供標準化的ID匹配服務(wù)和數(shù)據(jù)抽取服務(wù)，減少工程師的重復(fù)工作。此外，個推提供的打包部署服務(wù)和后續(xù)監(jiān)控服務(wù)，也能夠幫助企業(yè)保證平臺的順利運行。

---

聚美優(yōu)品大數(shù)據(jù)高級工程師

賀鵬《大數(shù)據(jù)3.0流計算與智能決策》

大數(shù)據(jù)3.0時期，Hadoop第一代、Spark內(nèi)存計算第二代，早期流計算以及人工智能流計算同時并存。

早期流計算具有強一致性、數(shù)據(jù)亂序與延遲等五大困難點，Flink的出現(xiàn)，有效解決了這些難題，同時Flink還兼具了可以實時增量計算、SQL支持以及CEP支持等六大優(yōu)點。

流計算發(fā)展至今，已經(jīng)具備了CEP這一強大功能，這也是支撐流計算智能化的關(guān)鍵因素所在?，F(xiàn)實生活中，很多復(fù)雜的場景無法通過顯式規(guī)則來進行判斷(傳統(tǒng)編程為規(guī)則編程、指令編程以及if else編程)，比如你無法用if else寫出如何判斷哪一張圖片是樹葉，你無法用有限的規(guī)則寫出如何判斷數(shù)據(jù)流中哪些是人為操作、哪些是機器人刷單，此時需要用機器學(xué)習(xí)模型來檢測和匹配，同時需要ML和流計算相結(jié)合使用。

通常情況下， ML模型主流場景有分類和回歸兩大場景，他們可以檢查抽象中無狀態(tài) f = fx(x1,x2 ..)無狀態(tài)模型(有狀態(tài)的模型典型代表rnn)，而在SQL語義中 UDF剛好與之對應(yīng)(無狀態(tài))，需要把模型放入流處理系統(tǒng)中，也就是將tensorflow PB model模型注冊為udf，完成上述步驟后，數(shù)據(jù)流會進入ML檢測階段。

使用流計算相關(guān)功能時，需要強大的平臺予以支持，以便在上面實施SQL開發(fā)、授權(quán)等操作。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的以智能数据架构，挖掘增长金矿的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。