ML：MLOps系列讲解之《MLOps的定义与发展—你为什么可能想使用机器学习》解读
ML：MLOps系列講解之《MLOps的定義與發展—你為什么可能想使用機器學習》解讀
目錄
1、《MLOps的定義與發展—你為什么可能想使用機器學習》解讀
1.1、Deployment GapML部署的差距
1.2、Scenarios of Change That Need to be Managed需要管理的變化的場景
1.3、MLOps?Definition定義
1.4、MLOps?Evolution進化
1.5、The Evolution of?MLOps
1、《MLOps的定義與發展—你為什么可能想使用機器學習》解讀
? ? ? ?根據Statista《2019年數字經濟指南》，兩大趨勢將擾亂經濟和我們的生活：
- (1)、數據驅動的世界，這與呈指數增長的數字化收集數據量有關。
- (2)、人工智能/機器學習/數據科學的重要性日益增加，它們從大量的數據中獲得洞察力。
? ? ? ?為了保持一致性，我們將使用術語機器學習(ML)，然而，這些概念適用于人工智能和數據科學領域。
? ? ? ?每一個機器學習管道都是一組操作，執行這些操作以產生一個模型。ML模型粗略地定義為現實世界過程的數學表示。我們可以將ML模型看作是一個函數，它接受一些輸入數據并產生輸出(分類、情感分析、推薦或聚類)。每個模型的性能都是通過使用評估指標來評估，例如precision & recall, or accuracy(精確率、召回率、準確性)。
? ? ? ?作為一個強大的工具，機器學習可以解決很多實際問題。與任何其他軟件工具類似，我們需要確定“正確的nail釘子”(用例或問題)，才能使用這個“hammer錘子”(機器學習算法)。
? ? ? ?我們對將機器學習納入軟件系統很感興趣，因為機器學習可以解決一些過于復雜而無法用傳統方法解決的問題。對于這類問題，通過機器學習實現的概率(隨機)解決方案可能是正確的方法。例如，會話UI中的感知問題可以通過語音識別或情感分析等技術來解決。機器學習(deep learning)似乎是最合適的方法，因為這類問題有大量不同表示形式的元素。另一類適合ML的問題是多參數問題。例如，我們應用機器學習方法來生成股票價格預測，這是股票交易決策的基礎。
? ? ? ?將模型放到生產環境中意味著您的模型可用于軟件系統。實際上，通過部署ML模型，我們可以提供以下功能：
- (1)、推薦：它根據產品描述或用戶以前的交互在一個大集合中識別相關的產品。
- (2)、Top-K項選擇：它以適合用戶的特定順序組織一組項目(例如搜索結果)。
- (3)、分類：它將輸入示例分配給先前定義的類之一(例如“垃圾郵件”/“非垃圾郵件”)。
- (4)、預測：將一些最可能的值賦給相關實體，如股票價值。
- (5)、內容生成：通過學習現有的示例來產生新的內容，例如學習Bach以前的作品來完成Bach chorale cantata(巴赫的贊美詩康塔塔)。
- (6)、問答：它回答一個明確的問題，例如：“這段內容描述了這個圖像嗎？”
- (7)、自動化：可以是一組自動執行的用戶步驟，例如股票交易
- (8)、欺詐和異常檢測：識別一個行為或交易是欺詐或可疑的
- (9)、信息提取和注釋：用于識別文本中的重要信息，如人名、職位描述、公司和地點。
? ? ? ?在下表中，我們總結了ML/AI的能力：
表來源：David Carmona《The AI Organization》
https：//learning.oreilly.com/library/view/the-ai-organization/9781492057369/
相關文章
Statista 《Digital Economy Compass 2019》
https://cdn.statcdn.com/download/pdf/DigitalEconomyCompass2019.pdf
1.1、Deployment GapML部署的差距
? ? ? ?越來越多的企業正在試驗ML。將模型引入現實世界不僅僅是構建它。為了充分利用構建的ML模型，使其可用于我們的核心軟件系統，我們需要將訓練有素的ML模型合并到核心代碼庫中。這意味著，我們需要將ML模型部署到生產中。通過部署模型，其他軟件系統可以向這些模型提供數據并獲得預測，這些預測又被重新填充到軟件系統中。因此，只有通過ML模型的部署才能充分發揮ML模型的優勢。
? ? ? ?然而，根據Algorithmia的一份《2020年企業機器學習狀況》報告，許多公司還沒有想出如何實現他們的ML/AI目標。因為在ML模型構建和實際部署之間搭建橋梁仍然是一個具有挑戰性的任務。在Jupyter Notebook模型中構建ML模型,與將ML模型部署到產生業務價值的生產系統中是有根本區別的。盡管AI預算在增加，但只有22%的使用機器學習的公司成功地將機器學習模型部署到生產中。
?源自Algorithmia公司的《2020 state of enterprise machine learning》
AI：Algorithmia《2021 enterprise trends in machine learning 2021年機器學習的企業趨勢》翻譯與解讀_一個處女座的程序猿-CSDN博客
? ? ? ?《2020年企業機器學習狀況》報告是基于對近750人的調查，包括機器學習從業者、機器學習項目經理和科技公司高管。一半的受訪者回答說，他們的公司需要一周到三個月的時間來部署一個ML模型。大約18%的人表示需要3個月到1年的時間。根據這份報告，“人們在開發ML功能時面臨的主要挑戰是規模、版本控制、模型可重復性和利益相關者的協調一致。
1.2、Scenarios of Change That Need to be Managed需要管理的變化的場景
? ? ? ?出現上述部署差距的原因在于，基于機器學習的應用程序的開發與傳統軟件的開發有著根本的不同。完整的開發管道包括三個級別的變更：數據、ML模型和代碼。這意味著，在基于機器學習的系統中，構建的觸發器可能是代碼更改、數據更改或模型更改的組合。這也被稱為“改變任何事物就改變一切”原則。
? ? ? ??在下面，我們列出了機器學習應用中可能發生變化的一些場景：
- (1)、在將ML模型部署到軟件系統之后，我們可能會意識到，隨著時間的推移，模型開始衰退并出現異常行為，因此我們需要新的數據來重新訓練我們的ML模型。
- (2)、在檢查可用的數據之后，我們可能會意識到很難獲得解決我們之前定義的問題所需的數據，因此我們需要重新制定問題。
- (3)、在ML項目的某些階段，我們可能會回到過程中，或者收集更多的數據，或者收集不同的數據并重新標記訓練數據。這應該會觸發ML模型的重新訓練。
- (4)、在將模型提供給最終用戶之后，我們可能會意識到我們為訓練模型所做的假設是錯誤的，因此我們必須更改我們的模型。
- (5)、有時候，在項目開發過程中，業務目標可能會發生變化，我們決定改變機器學習算法來訓練模型。
???????? ? ? ?此外，有三個常見的問題會影響ML模型投入生產后的價值。
???????? ? ? ?由于ML/AI正在擴展到新的應用和塑造新的行業，因此構建成功的ML項目仍然是一個具有挑戰性的任務。如上所示，需要圍繞設計、構建和部署ML模型到生產環境中建立有效的實踐和流程—MLOps。
1.3、MLOps?Definition定義
???????? ? ? ?我們看到了應用機器學習可以解決現實世界中的問題。我們確定了將ML模型投入生產的挑戰。最后，我們定義術語MLOps：
? ? ? ?術語MLOps被定義為：MLOps是“DevOps方法論的擴展，將機器學習和數據科學資產作為DevOps生態系統的“一等公民”。”(來源：MLOps SIG)。
? ? ? ?或者，我們可以使用機器學習工程(MLE)的定義，其中，MLE是使用機器學習和傳統軟件工程的科學原理、工具和技術來設計和構建復雜的計算系統。MLE包括從數據收集到模型構建的所有階段，以使模型可供產品或消費者使用。”(由A.Burkov)。
? ? ? ?MLOps 與 DevOps 一樣，源于這樣一種理解，即將 ML 模型開發與交付它的過程（ML 操作）分開會降低整個智能軟件的質量、透明度和敏捷性。
相關文章
《MLOps SIG》：
https：//github.com/cdfoundation/sig-mlops/blob/master/roadmap/2020/MLOpsRoadmap2020.md
1.4、MLOps?Evolution進化
???????? ? ? ?在21世紀初，當企業需要實施機器學習解決方案時，他們使用了供應商的授權軟件，如SAS、SPSS和FICO。隨著開源軟件的興起和數據的可用性，越來越多的軟件從業者開始使用Python或R庫來訓練ML模型。然而，這些模型在生產中的使用仍然是個問題。隨著集裝箱化(containerization)技術的興起，Docker容器和Kubernetes解決了模型的可擴展部署問題。最近，我們看到了這些解決方案向ML部署平臺的演變，這些平臺覆蓋了模型實驗、訓練、部署和監控的整個迭代。下圖顯示了MLOps的演化過程。
1.5、The Evolution of?MLOps
| Pre-History Age | Proprietary Inference Servers 專有推理服務器 | using proprietary tools to perform modeling and inference SAS SPSS FICO 使用專有工具進行建模和推理 SAS SPSS FICO |
| 2000 Stone Age | The Rise of Open Source Data Science Tools 開源數據科學工具的興起 | ...attempt to wrap the data science stack in a lightweight web service framework, and put it into production ..嘗試將數據科學堆棧包裝在輕量級 Web 服務框架中，并將其投入生產 Python: SciPy stack scitkit-learn is TensorFlow etc. R: dplyr ggplot2 I etc. I Spark, H2O, others... |
| 2015 Bronze Age | Containerization to-the-rescue 容器化救援 | Containerization of the "Stone Age" approach, making it easy to scale, robust, etc. “容器化時代”方法的容器化，使其易于擴展、健壯等。 Dockerized 開源 ML 堆棧。 |
| 2018 MLOps Gold Rush Age | "MLOps Platforms" “MLOps 平臺” | Dockerized open-source ML stacks Deployed them on-premise or in the cloud via Kubernetes and providing some manageability ("ML Ops"). 通過 Kubernetes 將它們部署在本地或云中，并提供一些可管理性（“ML Ops”）。 |
The content of this site was created by Dr. Larysa Visengeriyeva, Anja Kammer, Isabel B?r, Alexander Kniesz, and Michael Pl?d (DDD Advisor). Design made by Sebastian Eberstaller.
It is published under?Creative Commons Attribution 4.0 International Public License?and can therefore be shared and adapted with attribution ("INNOQ").
總結
以上是生活随笔為你收集整理的ML：MLOps系列讲解之《MLOps的定义与发展—你为什么可能想使用机器学习》解读的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： AI：Algorithmia《2021
- 下一篇： ML：MLOps系列讲解之《端到端 ML