當前位置：首頁 > 运维知识 > windows >内容正文

windows

apache kafka_2018年机器学习趋势与Apache Kafka生态系统相结合

發(fā)布時間：2023/12/3 windows 44 豆豆

生活随笔收集整理的這篇文章主要介紹了 apache kafka_2018年机器学习趋势与Apache Kafka生态系统相结合小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

apache kafka

在慕尼黑舉行的OOP 2018大會上，我介紹了有關使用Apache Kafka生態(tài)系統(tǒng)和諸如TensorFlow，DeepLearning4J或H2O之類的深度學習框架構建可擴展，關鍵任務微服務的演講的更新版本。我想分享更新后的幻燈片，并討論一些有關最新趨勢的更新，這些我已納入演講中。

主要故事與我在Confluent博客中有關Apache Kafka生態(tài)系統(tǒng)和機器學習的文章相同 ：如何使用Apache Kafka在生產中構建和部署可擴展機器學習。但是我更專注于深度學習/神經網絡。我還討論了Apache Kafka生態(tài)系統(tǒng)中的一些創(chuàng)新以及最近幾個月ML的趨勢： KSQL，ONNX，AutoML，Uber和Netflix的ML平臺 。讓我們看一下這些有趣的主題，以及它們之間的關系。

KSQL –一種Apache Kafka之上的流SQL語言。

“ KSQL是Apache Kafka的流SQL引擎 。 KSQL將入口欄放到了流處理領域，提供了一個簡單且完全交互SQL接口來處理Kafka中的數據。您不再需要用Java或Python之類的編程語言編寫代碼！ KSQL是開源的（Apache 2.0許可的），分布式的，可伸縮的，可靠的和實時的。它支持各種強大的流處理操作，包括聚合，聯(lián)接，窗口，會話化等等。” 此處有更多詳細信息：“ KSQL簡介：Apache Kafka的開源流SQL ”。

您可以編寫類似SQL的查詢來部署可擴展的，關鍵任務流處理應用程序（利用后臺的Kafka Streams）。絕對是Kafka開源生態(tài)系統(tǒng)中的一大亮點。

KSQL和機器學習

KSQL建立在Kafka Streams之上，因此允許構建可擴展的，關鍵任務服務。通過構建用戶定義功能（UDF），可以輕松嵌入包括神經網絡在內的機器學習模型。這些天，我正在準備一個示例，其中我將神經網絡（更準確地說是自動編碼器）應用于傳感器分析，以實時檢測醫(yī)院客人的異常情況（即健康檢查中的關鍵值），從而向醫(yī)生發(fā)送警報。

現在讓我們討論一下機器學習生態(tài)系統(tǒng)中一些有趣的新發(fā)展。

ONNX –一種表示深度學習模型的開放格式

“ ONNX 是代表深度學習模型的開放格式 。借助ONNX，AI開發(fā)人員可以更輕松地在最先進的工具之間移動模型，并選擇最適合他們的組合。”

這聽起來類似于PMML （預測模型標記語言，請參閱KDnuggets上的“ What is PMML ”）和PFA （便攜式分析格式），這是另外兩個定義和共享機器學習模型的標準。但是，ONNX在以下幾個方面有所不同：

專注于深度學習
背后有多家大型科技公司（AWS，Microsoft，Facebook）和硬件供應商（AMD，NVidia，Intel，Qualcomm等）
已經支持許多領先的開源框架（包括TensorFlow，Pytorch，MXNet）

ONNX已經在GA 1.0版中正式投入生產并可以投入生產 （如Amazon，Microsoft和Facebook在2017年12月宣布的那樣）。對于不同的框架，還有一個不錯的入門指南。

ONNX和Apache Kafka生態(tài)系統(tǒng)

不幸的是， ONNX還沒有Java支持。因此，尚不支持將其本身嵌入到Kafka Streams Java API中。僅通過諸如執(zhí)行REST調用或嵌入JNI綁定之類的解決方法。但是我非常確定這只是時間問題，因為Java平臺在許多企業(yè)中部署關鍵任務應用程序非常重要。

現在，您可以使用Kafka的Java API或其他Kafka客戶端。 Confluent為多種編程語言（例如Python或Go）提供了官方客戶，這兩種語言也非常適合機器學習應用程序。

自動化機器學習（aka AutoML）

如前所述，“自動化機器學習（AutoML）是一個熱門領域，其目標是使人們能夠輕松選擇不同的機器學習算法，其參數設置以及提高其檢測大數據中復雜模式能力的預處理方法。” 在這里。

使用AutoML，您無需任何有關機器學習的知識就可以構建分析模型。 AutoML實現使用決策樹，聚類，神經網絡等的不同實現來開箱即用地構建和比較不同的模型。您只需上傳或連接歷史數據集，然后單擊一些按鈕即可開始該過程。可能不是每個用例都完美，但是您可以輕松地改進許多現有流程，而無需稀有且昂貴的數據科學家。

DataRobot或Google的AutoML是該領域許多知名的云產品中的兩種。 H2O的AutoML已集成到其開源ML框架中，但是它們還提供了一個很好的以UI為中心的商業(yè)產品，稱為“ 無人駕駛AI ”。我強烈建議您在任何AutoML工具上花費30分鐘。看到AI工具如今如何發(fā)展真是令人著迷。

AutoML和Apache Kafka生態(tài)系統(tǒng)

大多數AutoML工具都提供其模型的部署。您可以通過REST接口訪問分析模型。對于可擴展的事件驅動架構（如Kafka）而言，并不是一個完美的解決方案。好消息： 許多AutoML解決方案還允許導出其生成的模型，以便您可以將其部署到應用程序中 。例如，H2O開源框架中的AutoML只是眾多選擇之一。您只能以您選擇的編程語言（R，Python，Scala，Web UI）使用其他操作：

aml <- h2o.automl(x = x, y = y,training_frame = train,leaderboard_frame = test,max_runtime_secs = 30)

與構建線性回歸，決策樹或神經網絡類似。結果是生成的Java代碼，您可以輕松地將它們嵌入到Kafka Streams微服務或任何其他Kafka應用程序中。 AutoML使您能夠構建和部署高度可擴展的機器學習，而無需掌握ML的豐富知識。

Netflix的介子

科技巨頭通常比“傳統(tǒng)企業(yè)”領先幾年。他們已經在幾年前建造了今天或明天建造的建筑。 ML平臺沒有區(qū)別。編寫ML源代碼以訓練分析模型只是現實世界ML基礎結構的一小部分。您需要考慮整個開發(fā)過程。下圖顯示了“ 機器學習系統(tǒng)中的隱藏技術債務 ”：

您可能會使用不同的技術構建多個分析模型。并非所有內容都將構建在您的Spark或Flink群集或單個云基礎架構中。您可能會在公共云中的某個大型，昂貴的GPU上運行TensorFlow，以構建強大的神經網絡。或使用H2O來構建一些小的但非常高效且高性能的決策樹，這些決策樹在幾微秒內即可完成推斷……ML有許多用例。

這就是為什么許多技術巨頭都建立了自己的ML平臺的原因，例如Uber的Michelangelo或Netflix的Meson 。這些ML平臺使他們能夠構建和監(jiān)視強大的，可擴展的分析模型，而且還可以保持靈活性以針對每種用例選擇正確的ML技術。

適用于ML平臺的Apache Kafka生態(tài)系統(tǒng)

Apache Kafka如此成功的原因之一是許多科技巨頭的廣泛采用。幾乎所有偉大的硅谷公司，如LinkedIn，Netflix，Uber，Ebay，都是“ you-name-it”博客，并談論了它們如何將Kafka用作關鍵任務應用程序的事件驅動中樞神經系統(tǒng)。許多人將重點放在用于消息傳遞的分布式流平臺上，但是我們也看到越來越多的插件被采用，例如Kafka Connect，Kafka Streams，REST Proxy，Schema Registry或KSQL。

如果您再次看一下上面的圖片，請考慮一下Kafka：它不是ML平臺的理想選擇嗎？培訓，監(jiān)視，部署，推理，配置，A / B測試等，等等。這可能就是為什么Uber，Netflix和許多其他公司已經將Kafka用作其ML基礎架構的核心組件的原因。

同樣，您不被迫僅使用一種特定技術。 Kafka的出色設計概念之一是，您可以一次又一次地從其分布式提交日志中重新處理數據。這意味著您既可以使用Kafka Sink（例如Apache Flink或Spark）等技術構建不同的模型，也可以連接scikit-learn等進行本地測試的技術，在Google Cloud GPU上運行的TensorFlow進行強大的深度學習，內部安裝適用于AutoML的H2O節(jié)點，以及部署在Docker容器或Kubernetes中的其他一些Kafka Streams ML應用程序。所有這些ML應用程序都按照其速度和需要的頻率并行使用數據。

這是一個很好的示例，說明如何使用Kafka和Kafka Streams自動進行可伸縮ML微服務的培訓和部署。無需添加另一個大數據集群。這是在您的ML應用程序中使用Kafka Streams或KSQL而不是其他Stream Processing框架的主要區(qū)別之一。

Apache Kafka和深度學習– OOP的幻燈片

最后，在對Apa??che Kafka生態(tài)系統(tǒng)和機器學習/深度學習的新趨勢進行了所有這些討論之后，這是我在OOP 2018大會上的演講的更新幻燈片：
2018年機器學習趨勢與 KaiW?hner 的Apache Kafka生態(tài)系統(tǒng)相結合

我還使用Apache Kafka，Kafka Streams和不同的開源ML框架（例如H2O，TensorFlow和DeepLearning4j（DL4J））構建了一些示例。 Github項目顯示了將分析模型部署到高度可擴展，容錯且關鍵任務的Kafka微服務有多么容易。 KSQL演示也將很快發(fā)布。

請分享您的反饋。您是否已經在機器學習領域使用Kafka？您除了使用Kafka核心外還使用哪些組件？請隨時與我聯(lián)系以詳細討論。

翻譯自: https://www.javacodegeeks.com/2018/02/machine-learning-trends-2018-combined-apache-kafka-ecosystem.html