概述

最近看了很多關于云原生的文章，大體意思是機器學習服務這個行業(yè)將迎來一次巨大的變革。從13年我剛入行以來，機器學習在15年左右經(jīng)歷了模型深度的變革，從淺層學習逐步發(fā)展到了深度學習。到了20年這個節(jié)點，機器學習的整體服務架構會開始變革，逐漸會從Apache Yarn體系向Docker+Kubeflow這種云原生體系變革。

為什么會出現(xiàn)這種遷移？許多技術同學都在網(wǎng)上發(fā)表了他們的看法，我認為比較好的文章是：https://www.jiqizhixin.com/articles/2019-01-31-14

遺憾的是，發(fā)表這些文章的都是技術同學，更多地是從技術視角去看待這個問題，今天我嘗試通過產(chǎn)品經(jīng)理的視角，也就是用戶具體應用的視角解釋下云原生的好處。

什么是云原生？

可能有的同學不清楚什么是云原生，Docker+Kubeflow就是機器學習的云原生方案。首先給大家解釋下Docker和VM（虛擬機）的區(qū)別。

VM是目前所有“云”業(yè)務的根源，VM的誕生使得傳統(tǒng)的物理機可以向外提供標準化的計算服務。這種服務需要使用者把應用App、依賴Bins/Libs以及操作系統(tǒng)Guest OS打包成VM鏡像，然后發(fā)到物理機上即可運行。

VM的一個問題就是因為VM鏡像包含了Guest OS，所以VM是比較重的，可能每個VM鏡像在10G左右，如果想同時拉起上千個任務，這個拉起時間成本非常高。

再來看看Docker，Docker的一個好處是不包含Guest OS。用戶只需要把應用App和Libs打包成一個Docker Image就可以部署到服務器上，而且一樣具備VM所具有的資源隔離、網(wǎng)絡隔離等優(yōu)勢，這就靈活了許多。看下Docker的架構圖：

舉個例子，比如做一個簡單的模型服務，只需要把模型+Flask+python環(huán)境打包好即可，如果模型不大的話，這種Docker image只有幾百兆，可以秒級拉起。所以云原生給到用戶的是彈性的計算環(huán)境，只要用戶把自己要計算的業(yè)務封裝成Docker image，傳上來就能跑。

云原生究竟有哪些優(yōu)勢

云原生有資源調(diào)度更靈活，內(nèi)存、網(wǎng)絡隔離更完善等優(yōu)點，這些都是技術優(yōu)勢，我今天重點介紹兩個用戶使用端的優(yōu)勢。分別是“更靈活的配置性”以及“業(yè)務模塊的一致性”。

?

更靈活的配置性

傳統(tǒng)的機器學習平臺的架構是如下圖這種模式：

在用戶層只給客戶開放了APP的上傳通道，而計算框架和依賴包需要平臺層提前在集群配置好，而且不易更改。這會造成很大的麻煩，比如用戶上傳了一個python的代碼包，這個包依賴于numpy這個python庫，如果平臺層沒有內(nèi)置numpy，用戶是無法運行的，因為平臺并沒有給用戶開放安裝依賴包的口子。基于傳統(tǒng)的Yarn調(diào)度的模式，在技術可行性方面也比較難實現(xiàn)用戶自己在集群層面安裝依賴。

反過來看云原生的平臺，用戶可以在用戶層自己指定依賴的lib包，設置可以安裝計算框架。從用戶開發(fā)環(huán)境的角度比較，云原生的機器學習平臺一定是更user friendly。

業(yè)務模塊的一致性

我們知道，傳統(tǒng)的Apache Yarn，設置整個Hadoop生態(tài)是基于大數(shù)據(jù)開發(fā)為業(yè)務背景去設計的。相比于機器學習建模，大數(shù)據(jù)開發(fā)場景相對會更單純。因為大數(shù)據(jù)開發(fā)環(huán)境的輸入和輸出都是表。而機器學習場景輸入的是數(shù)據(jù)，輸出的是模型，模型還要部署成服務才可以使用。基于這樣的體系，會產(chǎn)生以下這種機器學習架構，

大部分玩算法的人會把模型計算引擎和模型服務引擎解耦，甚至時間長了，覺得這兩個部分就應該是不同的模塊。基于這樣很割裂的架構，會衍生出模型傳遞網(wǎng)絡性能問題、引擎間模型格式不兼容等一系列問題。

?

有了云原生方式，會打破了Apache傳統(tǒng)的以大數(shù)據(jù)方式建模的束縛。所有的建模相關的服務都可以做出Docker Image，部署到一個集群中，通過kubeflow的pipline去編排相互執(zhí)行順序。

這樣就解決了上述提到的問題，讓整個業(yè)務都可以集中在一個集群，同時相互之間又有資源隔離機制，使得業(yè)務模塊一致性更強。

總結

經(jīng)過這幾天研究云原生機器學習業(yè)務的調(diào)研，我覺得kubeflow未來可期，需要所有從業(yè)的產(chǎn)品經(jīng)理和開發(fā)人員重新更新自己的技術棧。

有一個問題需要時間驗證，機器學習PaaS層產(chǎn)品是否是偽命題？

目前百度、阿里、騰訊都有PaaS層的機器學習產(chǎn)品，這些產(chǎn)品在云原生時代是否還有價值。因為云原生階段會大大推動開源生態(tài)各種模型部署、算法框架的演進，用戶完全可以利用這些開源的工具配合Docker在虛擬機上拉起來構建一個機器學習PaaS層服務，這樣的話Yarn那一套有點落伍。

未來可能在機器學習領域，只存在SaaS業(yè)務層和IaaS計算資源層，PaaS的比重會下降。這是我的一個猜測，作為PaaS層機器學習產(chǎn)品經(jīng)理，==！好擔心自己會下崗。

?

《新程序員》：云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的详解云原生机器学习平台的优势的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。