簡介

Apache Atlas是Apache基金會的孵化項目，是Hadoop生態(tài)圈的數據治理和元數據框架(Data Governance and Metadata framework)。Atlas是一套核心基礎治理服務的集合，有很好的伸縮性和可擴展性，能夠滿足企業(yè)對Hadoop生態(tài)系統(tǒng)的多樣性需求，并能和企業(yè)的數據生態(tài)系統(tǒng)集成。

特性

Data Classification

定義、注釋并自動獲取數據集與底層元素(source, target, derivation processes)之間的關系

能夠為第三方系統(tǒng)導出元數據

Centralized Auditing

捕捉每一個應用、進程和數據交互的安全訪問信息

捕捉execution, steps和activities的操作信息

Search & Lineage

通過預定義的導航路徑瀏覽數據分類和審計信息

通過基于文本的搜索特性在Data Lake中快速、準確地定位相關數據和審計事件

可視化瀏覽數據集的血緣關系，能夠允許用戶深入探討操作、安全和數據起源信息

安裝(Standalone)

目前Atlas官網沒有可下載的包，如果要安裝Atlas，必須下載源碼。

安裝前置條件

JDK 1.7及以上

Maven 3.3.9

Building Atlas

git clone https://git-wip-us.apache.org/repos/asf/incubator-atlas.git atlas

cdatlas

exportMAVEN_OPTS="-Xmx1536m -XX:MaxPermSize=512m" && mvn clean install

Atlas使用的數據庫和搜索有兩種方案

HBase + Solr

BerkeleyDB + ElasticSearch

這里僅使用HBase + Solr的方案，打包命令如下：

mvn clean package -Pdist,embedded-hbase-solr

embedded-hbase-solr會將HBase和Solr打包進Atlas

打包結束后，tar包會放在atlas/distro/target/apache-atlas-${project.version}-bin.tar.gz

Atlas文件結構

|- bin

|- atlas_start.py

|- atlas_stop.py

|- atlas_config.py

|- quick_start.py

|- cputil.py

|- conf

|- atlas-application.properties

|- atlas-env.sh

|- hbase

|- hbase-site.xml.template

|- log4j.xml

|- solr

|- currency.xml

|- lang

|- stopwords_en.txt

|- protowords.txt

|- schema.xml

|- solrconfig.xml

|- stopwords.txt

|- synonyms.txt

|- docs

|- hbase

|- bin

|- conf

...

|- server

|- webapp

|- atlas.war

|- solr

|- bin

...

|- README

|- NOTICE

|- LICENSE

|- DISCLAIMER.txt

|- CHANGES.txt

安裝&運行Atlas

tarzxvf apache-atlas-${project.version}-bin.tar.gz

cdatlas-${project.version}

配置Atlas

打開conf/atlas-application.properties，將atlas.kafka.zookeeper.connect改為localhost:2181

啟動HBase

cdhbase/bin

./start_hbase.sh

tail -f ../logs/hbase-***.lan.log

# 查看HBase有沒有成功啟動

默認情況下，HBase會自動啟動內嵌的zookeeper，端口號2181

啟動Solr

cdsolr/bin

# standalone的zookeeper_host:port 為localhost:2181

./solr start -c -z -p 8983

# 使用solr create命令創(chuàng)建Atlas使用的indexes

# SOLR_CONF代表路徑：atlas/conf/solr

./solr create -c vertex_index -d SOLR_CONF

./solr create -c edge_index -d SOLR_CONF

./solr create -c fulltext_index -d SOLR_CONF

啟動Atlas

bin/atlas_start.sh

驗證Atlas是否啟動

curl -v http://localhost:21000/api/atlas/admin/version

總結

以上是生活随笔為你收集整理的atlas安装需要kafka吗_Apache Atlas安装使用说明文档的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。