我們主要使用Apache Storm進行流處理，并使用Apache HBase作為NoSQL寬列數據庫。

即使Apache Cassandra是一個出色的NoSQL數據庫，由于Cloudera的分布以及與Cassandra相比更加一致 （請檢查CAP定理 ），我們還是更喜歡HBase。

HBase基于HDFS，但出于測試目的，可以輕松將其獨立安裝。 您只需要下載最新版本，解壓縮文件，啟動獨立節點，然后啟動HBase Shell即可播放。

$> tar zxvf hbase-1.1.2-bin.tar.gz $> cd hbase-1.1.2/bin/ $> ./start-hbase.sh $> ./hbase shell hbase(main):001:0> create 'DummyTable', 'cf' hbase(main):001:0> scan 'DummyTable'

在獨立模式下啟動HBase時，它也會自動啟動本地Zookeeper節點（在默認端口2181中運行）。

$> netstat -anp|grep 2181

HBase和Storm將Zookeeper用作分布式協調器機制。 現在，由于您已經在運行本地Zookeeper節點，因此可以配置并運行本地Storm集群。

• 下載最新的 Storm
• 提取
• 配置“ STORM_HOME / conf / storm.yaml”（檢查以下內容）
• 啟動本地集群：
  • $> cd STORM_HOME/bin
• 日志位于“ STORM_HOME / logs /”目錄中
• 在以下位置檢查本地Storm UI： localhost：8080

新的“ storm.yaml ”配置文件的內容：

storm.zookeeper.servers: - "localhost"nimbus.host: "localhost"supervisor.slots.ports: - 6701 - 6702

您還可以設置參數“ worker.childopts ”來為每個Worker （處理節點）設置JVM選項。 這是本地JVM的一個簡單示例，其中設置了最小/最大堆大小，垃圾回收策略，啟用JXM和GC日志。

worker.childopts: "-server -Xms512m -Xmx2560m -XX:PermSize=128m -XX:MaxPermSize=512m -XX:+UseParallelOldGC -XX:ParallelGCThreads=3 -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -verbose:gc -Xloggc:/tmp/gc-storm-worker-%ID%.log -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=1%ID% -XX:+PrintFlagsFinal -Djava.awt.headless=true -Djava.net.preferIPv4Stack=true"

所有Worker JVM節點均加載參數“ worker.childopts ”。 變量“％ID％”對應于分配給每個工作程序的端口（6701或6702）。 如您所見，我已經使用它為每個工作程序和不同的GC日志文件啟用了不同的JMX端口。

我們使用的是使用JDK 7的Storm，但JDK 8似乎也兼容。 最新的Storm已從Logback切換到Log4j2（ 在此處和此處查看完整的發行說明）。

按照上述說明，您將能夠在筆記本電腦上運行HBase和Storm迷你群集，而不會出現任何問題。

翻譯自: https://www.javacodegeeks.com/2015/12/local-installation-standalone-hbase-apache-storm-simple-cluster.html

總結

以上是生活随笔為你收集整理的在本地安装独立的HBase和Apache Storm简单集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。