為什么要做數據治理？業務繁多，數據繁多，業務數據不斷迭代。人員流動，文檔不全，邏輯不清楚，對于數據很難直觀理解，后期很難維護。

在大數據研發中，原始數據就有著非常多的數據庫，數據表。

而經過數據的聚合以后，又會有很多的維度表。如果想要對這些數據做好管理，光用文字、文檔等東西是不夠的，必須用圖。

Atlas就是把元數據變成圖的工具。

http://atlas.apache.org/

Atlas是一組可擴展和可擴展的核心基礎治理服務，使企業能夠有效地滿足Hadoop中的合規性要求，并允許與整個企業數據生態系統集成。

Apache Atlas為組織提供開放的元數據管理和治理功能，以建立其數據資產的目錄，對這些資產進行分類和治理，并為數據科學家，分析師和數據治理團隊提供圍繞這些數據資產的協作功能。

那么如何安裝并使用Altas呢？

Atlas的安裝坑較多，本教程將詳細介紹Atlas2.1.0整個安裝過程，有任何問題歡迎關注 實時流式計算

后臺留言~

下載

請前往官網 https://atlas.apache.org/#/Downloads

下載對應版本的源碼包 本文使用最新的 2.1.0版本

國內站點 速度要快一些

https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz

編譯

比較難受的是 Atlas不提供安裝包 下載的是源碼包 需要自行編譯打包

注意，需要先安裝maven，因為這是使用maven開發的java web工程。maven3.6.3版本即可

安裝maven

一些下載地址

http://maven.apache.org/download.cgi

https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

上傳到linux的/usr/local目錄

cd /usr/local

解壓文件

tar -zxvf apache-maven-3.6.3-bin.tar.gz

配置環境變量

vi /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=MAVEN_HOME/bin:PATH

刷新環境變量

source /etc/profile

檢查版本

mvn -v

配置好maven的環境變量 注意國內需要配置好maven的國內鏡像，一般使用阿里，華為，清華等鏡像 vi /usr/local/apache-maven-3.6.3/conf/settings.xml

alimavenaliyun mavenhttp://maven.aliyun.com/nexus/content/groups/public/central

把這個setting.xml 拷貝到 ~/.m2/

cp settings.xml .m2/

編譯Atlas

解壓源碼包

tar -zxvf apache-atlas-2.1.0-sources.tar.gz

1.修改atlas源碼工程的pom.xml

將hbase zookeeper hive等依賴的版本修改成自己環境中一致的版本(或者兼容的版本)

父工程pom文件
3.4.14
2.2.3
7.7.2

2.執行maven編譯打包

atlas可以使用內嵌的hbase-solr作為底層索引存儲和搜索組件，也可以使用外置的hbase和solr 如果要使用內嵌的hbase-solr，則使用如下命令進行編譯打包 cd apache-atlas-sources-2.1.0/ export MAVEN_OPTS="-Xms2g -Xmx2g" mvn clean -DskipTests package -Pdist,embedded-hbase-solr

不用內置就這樣 mvn clean -DskipTests package -Pdist

改完路徑還會非常快的 耐心等待

atlas的webui子模塊中依賴了nodejs，會從nodejs的中央倉庫去下載相關依賴庫

編譯完成之后，會產生打包結果，所在位置是：源碼目錄中的新出現的distro/target目錄

• 注意，這里產出的有壓縮包也有解壓后的包。這里面的hook包，可以看到有各種平臺的hook包。

• 顧名思義，這就是鉤子包，也就是各個大數據框架會提供各種生命周期回調函數，并且將相關信息以數據方式提供出來。這些鉤子就可以去監聽和接收數據

如果沒有錯誤 并看到一排success就是成功了

踩坑大全：

包下載失敗

在Atlas編譯過程中，遇到最多的就是包下載失敗的問題，這和當前網絡有很大的關系。

選擇網速較好的網絡。

還有一種解決辦法就是去官網上找一下，如果真沒有就切換到爭取的maven源

了解大數據實時計算 感受數據流動之美 歡迎關注 實時流式計算

總結

以上是生活随笔為你收集整理的老是说我编译版本不够_Atlas 2.1.0 实践（1）—— 编译Atlas的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。