本系列內(nèi)容：

Kafka環(huán)境搭建與測試

Python生產(chǎn)者/消費者測試

Spark接收Kafka消息處理，然后回傳到Kafka

Flask引入消費者

WebSocket實時顯示

版本：

spark-2.4.3-bin-hadoop2.7.tgz

kafka_2.11-2.1.0.tgz

------------------------第1小節(jié)：Kafka環(huán)境搭建與測試---------------------------

1.Kafka環(huán)境搭建與測試

步驟01：解壓kafka

tar -zvxf kafka_2.11-2.1.0.tgz -C /usr/local

步驟02：重命名文件夾

cd /usr/local

mv kafka_2.11-2.1.0 /usr/local/kafka

步驟03：配置broker，修改如下文件：

/usr/local/kafka/config/server.properties

將listeners和advertised.listeners節(jié)點修改如下，將localhost配置為IP，因為后面需要在windows上寫程序連接broker。

如圖所示：

2.測試

步驟01：進(jìn)入kafka目錄

cd /usr/local/kafka

步驟02：打開新窗口，啟動：zk server

./bin/zookeeper-server-start.sh config/zookeeper.properties

步驟03：打開新窗口，啟動：kafka broker

./bin/kafka-server-start.sh config/server.properties

步驟04：打開新窗口，創(chuàng)建主題：--replication-factor：副本因子，設(shè)置副本個數(shù) --partitions：分區(qū)數(shù)

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic bigdata

步驟05：顯示主題列表

./bin/kafka-topics.sh --list --zookeeper localhost:2181

步驟06：打開新窗口，啟動生產(chǎn)者

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic bigdata

在命令行中輸入：hello

步驟07：啟動消費者：--from-beginning 表示獲取消費者啟動前生產(chǎn)者發(fā)出的消息

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic bigdata --from-beginning

可以看到窗口中接收到了hello

注意：以上步驟，已經(jīng)打開了4個shell窗口，在操作期間需要記住那個窗口啟動了什么服務(wù)

如圖所示：

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的websocket 获取ip_Spark+Kafka+WebSocket+eCharts实时分析-完全记录（1）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。