問題

從卡夫卡鏡子制造商轉(zhuǎn)移到布魯克林有我在這里所寫的優(yōu)勢。 但是，進行這種遷移并不容易，因為它本來應該如此。 我面臨的主要挑戰(zhàn)是：在消費者Kafka經(jīng)紀人和Brooklin之間建立SSL連接

解

SSL問題

事實證明，這個問題比我預期的要棘手得多。

我一直在使用Brooklin的1.0.2版本進行工作。 我遇到的問題是我無法在kafkaMirroringConnector（用于創(chuàng)建Kafka使用者以監(jiān)聽Kafka Broker的連接器）和Kafka Broker之間創(chuàng)建SSL連接，而問題在于代碼的局限性。 閱讀完代碼后 ，我意識到唯一的選擇就是修復它并創(chuàng)建一個新構(gòu)建。

從技術上講，更改僅屬于2個文件。

KafkaMirrorMakerConnectorTask.java

//Add following line to createKafkaConsumer method properties.putIfAbsent(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, _mirrorMakerSource.isSecure() ? "SSL" : "PLAINTEXT" );

server.properties

//Add below line under 'Kakfa Mirror connector Configs' . //This would be used by createConsumer under //PartitionDisciveryThread brooklin.server.connector.kafkaMirroringConnector.consumer.security.protocol=SSL

構(gòu)建datastream-kafka-connector模塊并替換brooklin lib目錄中的jar。

現(xiàn)在，當創(chuàng)建一個新的布魯克林任務時，您可以在源字符串中使用kafka ssl代替kafka 。

Example : bin/brooklin-rest-client.sh -o CREATE -u http: //localhost:32311/ -n first-mirroring-stream -s "kafkassl://localhost:9093/^(first|second)-topic$" -c kafkaMirroringConnector -t kafkaTransportProvider -m '{"owner":"test-user","system.reuseExistingDestination":"false"}' 2>/dev/null

注意 ：我嘗試但不起作用的另一種方法是使用ConsumerFactoryClassName參數(shù)。 這可以幫助您根據(jù)代碼創(chuàng)建自定義使用者，但這給我?guī)砹烁鄦栴}。

翻譯自: https://www.javacodegeeks.com/2020/06/challenges-of-moving-from-kafka-mirror-maker-to-brooklin-for-ssl-kafka-brokers.html

總結(jié)

以上是生活随笔為你收集整理的SSL Kafka经纪人从Kafka Mirror Maker迁移到Brooklin的挑战的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。