kafka mirror

問題

從卡夫卡鏡子制造商轉移到布魯克林有我在這里所寫的優勢。 但是，進行這種遷移并不容易，因為它本來應該如此。 我面臨的主要挑戰是：在消費者Kafka經紀人和Brooklin之間建立SSL連接

解

SSL問題

事實證明，這個問題比我預期的要棘手得多。

我一直在使用Brooklin的1.0.2版本進行工作。 我面臨的問題是我無法在kafkaMirroringConnector（用于創建要監聽Kafka Broker的Kafka使用者的連接器）和Kafka Broker之間創建SSL連接，問題出在代碼的限制上。 閱讀完代碼后 ，我意識到唯一的選擇就是修復它并創建一個新構建。

從技術上講，更改僅屬于2個文件。

KafkaMirrorMakerConnectorTask.java

//Add following line to createKafkaConsumer method properties.putIfAbsent(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, _mirrorMakerSource.isSecure() ? "SSL" : "PLAINTEXT" );

server.properties

//Add below line under 'Kakfa Mirror connector Configs' . //This would be used by createConsumer under //PartitionDisciveryThread brooklin.server.connector.kafkaMirroringConnector.consumer.security.protocol=SSL

構建datastream-kafka-connector模塊并替換brooklin lib目錄中的jar。

現在，當創建一個新的布魯克林任務時，您可以在源字符串中使用kafka ssl代替kafka 。

Example : bin/brooklin-rest-client.sh -o CREATE -u http: //localhost:32311/ -n first-mirroring-stream -s "kafkassl://localhost:9093/^(first|second)-topic$" -c kafkaMirroringConnector -t kafkaTransportProvider -m '{"owner":"test-user","system.reuseExistingDestination":"false"}' 2>/dev/null

注意 ：我嘗試但不起作用的另一種方法是使用ConsumerFactoryClassName參數。 這可以幫助您根據代碼創建自定義使用者，但這給我帶來了更多問題。

翻譯自: https://www.javacodegeeks.com/2020/06/challenges-of-moving-from-kafka-mirror-maker-to-brooklin-for-ssl-kafka-brokers.html

kafka mirror

總結

以上是生活随笔為你收集整理的kafka mirror_SSL Kafka经纪人从Kafka Mirror Maker迁移到Brooklin的挑战的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。