kafka connect

在本周的白板演練中，MapR的高級產品營銷經理Ankur Desai描述了Apache Kafka Connect和REST API如何簡化和提高在處理來自包括舊數(shù)據(jù)庫或數(shù)據(jù)倉庫在內的各種數(shù)據(jù)源的流數(shù)據(jù)時的敏捷性。 他還解釋了當您使用MapR Streams與Kafka進行數(shù)據(jù)傳輸時，此體系結構的差異。

其他資源：

• 卡羅爾·麥克唐納（Carol MacDonald）的博客教程“使用Spark Machine Learning，Streaming和Kafka API監(jiān)視實時Uber數(shù)據(jù)”
• Tugdual Grall撰寫的使用Kafka API的示例程序的“ MapR Streams入門”博客教程
• Apache Flink簡介： Ellen Friedman和Kostas Tzoumas撰寫的《 實時和超越流處理》一書在線免費閱讀

這是完整的視頻轉錄：

嗨，我是Ankur Desai。 我在MapR的產品團隊中工作。 歡迎來到我的白板演練。 今天，我將討論流架構，以及該架構的新進展如何幫助使該架構更加敏捷和簡單。 讓我們談談一切。

這是典型的流架構。 在左側，您擁有諸如社交媒體，傳感器和各種數(shù)據(jù)之類的數(shù)據(jù)源。 然后，您將使用Flume之類的數(shù)據(jù)收集器從這些數(shù)據(jù)源獲取數(shù)據(jù)，然后Flume充當Kafka的生產者。 另外，請記住您也有舊式數(shù)據(jù)源，例如數(shù)據(jù)庫和數(shù)據(jù)倉庫。 要從這些來源獲取數(shù)據(jù)并放入Kafka中，通常可以使用充當Kafka生產者的自定義代碼，也可以再次使用數(shù)據(jù)收集器。

數(shù)據(jù)放入Kafka后，Kafka將充當流式體系結構的消息傳遞系統(tǒng)。 它充當傳輸層。 將數(shù)據(jù)保存在Kafka中后，Kafka便可以將數(shù)據(jù)提供給流處理引擎，例如Spark Streaming和Flink。 流處理層用于ATL，分析和聚合之類的目的。 處理完成后，您希望將結果存儲在持久層中，以使其可用于下游應用程序。

讓我們談談如何使整個體系結構更敏捷，更簡單。 讓我們從REST API開始。 REST API，讓我在這里畫一下進行解釋。 REST API允許任何環(huán)境中的任何編程語言使用SJDP將數(shù)據(jù)寫入Kafka。 同時，請記住，我們還具有經常需要與Kafka對話的舊數(shù)據(jù)源。 該社區(qū)已經開發(fā)了一個工具集，即稱為Kafka Connect的框架。 Kafka Connect是一組預先建立的連接器，可以幫助您將數(shù)據(jù)從舊系統(tǒng)導入Kafka。 現(xiàn)在，您可以使用Kafka Connect在Kafka中進出數(shù)據(jù)。 結果，整個架構更加簡單。

Kafka Connect提供了預構建的連接器，因此您不必每次都要在舊系統(tǒng)中進出數(shù)據(jù)時都編寫自定義代碼。 另外，Kafka Connect不僅可以用作數(shù)據(jù)導入工具，還可以將數(shù)據(jù)從Kafka導出到某些目標。 此外，讓我們討論如何將這種體系結構的某些組件融合到一個平臺，一個集群，一個系統(tǒng)中。

借助MapR融合數(shù)據(jù)平臺，我們用MapR Streams替換了Kafka，而后者使用了相同的API。 您所有的Kafka應用程序也將在MapR上運行。 MapR融合數(shù)據(jù)平臺將傳輸處理和持久性的所有必需組件融合到一個集群，一個系統(tǒng)中的一個平臺上。 您在此紅色方框內看到的所有內容實際上都在同一集群中的同一平臺上運行。 所有這些都融合在MapR上。 這實際上有助于消除不同群集之間的數(shù)據(jù)移動。 結果，我們擴展了敏捷性和簡單性的概念，因為現(xiàn)在您不必在不同集群之間移動數(shù)據(jù)。 這減少了等待時間，并引入了以前沒有的架構簡化。

在這里，您可以使用MapR融合數(shù)據(jù)平臺使體系結構更簡單，更靈活。 謝謝收看 如有任何疑問，請隨時在下面寫下評論。

翻譯自: https://www.javacodegeeks.com/2016/12/kafka-connect-mapr.html

kafka connect

總結

以上是生活随笔為你收集整理的kafka connect_Kafka Connect在MapR上的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。