為什么要做數(shù)據(jù)治理？業(yè)務(wù)繁多，數(shù)據(jù)繁多，業(yè)務(wù)數(shù)據(jù)不斷迭代。人員流動，文檔不全，邏輯不清楚，對于數(shù)據(jù)很難直觀理解，后期很難維護(hù)。

在大數(shù)據(jù)研發(fā)中，原始數(shù)據(jù)就有著非常多的數(shù)據(jù)庫，數(shù)據(jù)表。

而經(jīng)過數(shù)據(jù)的聚合以后，又會有很多的維度表。如果想要對這些數(shù)據(jù)做好管理，光用文字、文檔等東西是不夠的，必須用圖。

Atlas就是把元數(shù)據(jù)變成圖的工具。

http://atlas.apache.org/

Atlas是一組可擴(kuò)展和可擴(kuò)展的核心基礎(chǔ)治理服務(wù)，使企業(yè)能夠有效地滿足Hadoop中的合規(guī)性要求，并允許與整個企業(yè)數(shù)據(jù)生態(tài)系統(tǒng)集成。

Apache Atlas為組織提供開放的元數(shù)據(jù)管理和治理功能，以建立其數(shù)據(jù)資產(chǎn)的目錄，對這些資產(chǎn)進(jìn)行分類和治理，并為數(shù)據(jù)科學(xué)家，分析師和數(shù)據(jù)治理團(tuán)隊(duì)提供圍繞這些數(shù)據(jù)資產(chǎn)的協(xié)作功能。

那么如何安裝并使用Altas呢？

Atlas的安裝坑較多，本教程將詳細(xì)介紹Atlas2.1.0整個安裝過程，有任何問題歡迎關(guān)注 實(shí)時流式計(jì)算

后臺留言~

下載

請前往官網(wǎng) https://atlas.apache.org/#/Downloads

下載對應(yīng)版本的源碼包 本文使用最新的 2.1.0版本

國內(nèi)站點(diǎn) 速度要快一些

https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz

編譯

比較難受的是 Atlas不提供安裝包 下載的是源碼包 需要自行編譯打包

注意，需要先安裝maven，因?yàn)檫@是使用maven開發(fā)的java web工程。maven3.6.3版本即可

安裝maven

一些下載地址

http://maven.apache.org/download.cgi

https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

上傳到linux的/usr/local目錄

cd /usr/local

解壓文件

tar -zxvf apache-maven-3.6.3-bin.tar.gz

配置環(huán)境變量

vi /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=MAVEN_HOME/bin:PATH

刷新環(huán)境變量

source /etc/profile

檢查版本

mvn -v

配置好maven的環(huán)境變量 注意國內(nèi)需要配置好maven的國內(nèi)鏡像，一般使用阿里，華為，清華等鏡像 vi /usr/local/apache-maven-3.6.3/conf/settings.xml

alimavenaliyun mavenhttp://maven.aliyun.com/nexus/content/groups/public/central

把這個setting.xml 拷貝到 ~/.m2/

cp settings.xml .m2/

編譯Atlas

解壓源碼包

tar -zxvf apache-atlas-2.1.0-sources.tar.gz

1.修改atlas源碼工程的pom.xml

將hbase zookeeper hive等依賴的版本修改成自己環(huán)境中一致的版本(或者兼容的版本)

父工程pom文件
3.4.14
2.2.3
7.7.2

2.執(zhí)行maven編譯打包

atlas可以使用內(nèi)嵌的hbase-solr作為底層索引存儲和搜索組件，也可以使用外置的hbase和solr 如果要使用內(nèi)嵌的hbase-solr，則使用如下命令進(jìn)行編譯打包 cd apache-atlas-sources-2.1.0/ export MAVEN_OPTS="-Xms2g -Xmx2g" mvn clean -DskipTests package -Pdist,embedded-hbase-solr

不用內(nèi)置就這樣 mvn clean -DskipTests package -Pdist

改完路徑還會非?？斓?耐心等待

atlas的webui子模塊中依賴了nodejs，會從nodejs的中央倉庫去下載相關(guān)依賴庫

編譯完成之后，會產(chǎn)生打包結(jié)果，所在位置是：源碼目錄中的新出現(xiàn)的distro/target目錄

• 注意，這里產(chǎn)出的有壓縮包也有解壓后的包。這里面的hook包，可以看到有各種平臺的hook包。

• 顧名思義，這就是鉤子包，也就是各個大數(shù)據(jù)框架會提供各種生命周期回調(diào)函數(shù)，并且將相關(guān)信息以數(shù)據(jù)方式提供出來。這些鉤子就可以去監(jiān)聽和接收數(shù)據(jù)

如果沒有錯誤 并看到一排success就是成功了

踩坑大全：

包下載失敗

在Atlas編譯過程中，遇到最多的就是包下載失敗的問題，這和當(dāng)前網(wǎng)絡(luò)有很大的關(guān)系。

選擇網(wǎng)速較好的網(wǎng)絡(luò)。

還有一種解決辦法就是去官網(wǎng)上找一下，如果真沒有就切換到爭取的maven源

了解大數(shù)據(jù)實(shí)時計(jì)算 感受數(shù)據(jù)流動之美 歡迎關(guān)注 實(shí)時流式計(jì)算

總結(jié)

以上是生活随笔為你收集整理的老是说我编译版本不够_Atlas 2.1.0 实践（1）—— 编译Atlas的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。