日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

atlas安装需要kafka吗_Atlas 2.1.0 实践(2)—— 安装Atlas

發布時間:2025/3/8 编程问答 46 豆豆
生活随笔 收集整理的這篇文章主要介紹了 atlas安装需要kafka吗_Atlas 2.1.0 实践(2)—— 安装Atlas 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

在完成Atlas編譯以后,就可以進行Atlas的安裝了。Atlas的安裝主要是安裝Atlas的Server端,也就Atlas的管理頁面,并確保Atlas與Kafka Hbase Solr等組件的集成。Atlas的系統架構如下,在確保 底層

在完成Atlas編譯以后,就可以進行Atlas的安裝了。Atlas的安裝主要是安裝Atlas的Server端,也就Atlas的管理頁面,并確保Atlas與Kafka Hbase Solr等組件的集成。

Atlas的系統架構如下,在確保 底層存儲與UI界面正常后,之后就可以進行與Hive等組件的集成調試了。

一、環境準備

安裝之前 先要準備好

JDK1.8

Zookeeper

Kafka

Hbase

Solr

在啟動Atlas時會配置這些環境變量的地址,所以一定要確保以上組件正常運行。

由于在編譯時可以選擇內部集成,所以這些Atlas是可以自帶的,但是JDK一定要安裝好。

在安裝Altas中,需要Solr 預先創建好collection

bin/solr create -c vertex_index -shards 3 -replicationFactor 2

bin/solr create -c edge_index -shards 3 -replicationFactor 2

bin/solr create -c fulltext_index -shards 3 -replicationFactor 2

在solr中驗證創建成功。

二、安裝Atlas

到編譯好的包的路徑下 apache-atlas-sources-2.1.0/distro/target

將生成好的安裝包 apache-atlas-2.1.0-server.tar.gz 拷貝到目標路徑下。

解壓:

tar -zxvf apache-atlas-2.1.0-server.tar.gz

三、修改配置

進入conf目錄下:

vi atlas-env.sh

在此指定JAVA_HOME和是否要用內嵌啟動

export JAVA_HOME=/opt/jdk1.8.0_191/

export MANAGE_LOCAL_HBASE=true

export MANAGE_LOCAL_SOLR=true

如果使用內嵌,那么配置結束,直接去 啟動Atlas

但是大部分時候,需要使用已經有的組件進行集成,所以設置為false。

export JAVA_HOME=/opt/jdk1.8.0_191/

export MANAGE_LOCAL_HBASE=false

export MANAGE_LOCAL_SOLR=false

#注意修改Hbase配置文件路徑

export HBASE_CONF_DIR=/opt/hbase/conf

修改其他配置

vim atlas-application.properties

這里就是設置Hbase Solr等配置

#Hbase地址 就是Hbase配置的zookeeper地址

atlas.graph.storage.hostname=slave01:2181,slave02:2181,slave03:2181

atlas.audit.hbase.zookeeper.quorum=slave01:2181,slave02:2181,slave03:2181

#solr服務器地址

atlas.graph.index.search.solr.http-urls=http://slave01:8984/solr

#kafka地址

atlas.notification.embedded=false

atlas.kafka.zookeeper.connect=slave01:2181,slave02:2181,slave03:2181

atlas.kafka.bootstrap.servers=slave01:9092,slave02:9092,slave03:9092

#atlas地址

atlas.rest.address=http://slave01:21000

四、啟動Atlas

bin/atlas_start.py

啟動成功后訪問:

http://slave01:21000

admin/admin登錄

成功!!

踩坑全紀錄

HBase: apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /hbase/hbaseid

hbase的問題 我的是因為沒有指定對hbase的配置文件

hbase配置文件的 zookeeper.znode.parent 并不是 /hbase/hbaseid

could not instantiate implementation: org.janusgraph.diskstorage.solr.Solr6Index

cannot connect to cluster at ... cluster not found /not ready

提示無法找到solr,在填寫atlas.graph.index.search.solr.zookeeper-url時需要添加znode,如2181/solr

具體是什么去solr配置文件里,或者頁面上找

could not register new index field with index backend

Solr有問題,檢查Solr 確保Solr正常啟動了

Can not find the specified config set: vertex_index

solr需要先建 三個索引 vertex_index, edge_index, fulltext_index

了解大數據實時計算 感受數據流動之美 歡迎關注 實時流式計算

以上信息來源于網絡,如有侵權,請聯系站長刪除。

總結

以上是生活随笔為你收集整理的atlas安装需要kafka吗_Atlas 2.1.0 实践(2)—— 安装Atlas的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。