cloudera目录位置
http://www.aboutyun.com/thread-9189-1-1.html這里來的嘿嘿。
1.相關(guān)目錄
/var/log/cloudera-scm-installer:安裝日志目錄。
/var/log/*:相關(guān)日志文件(相關(guān)服務(wù)的及CM的)。
/usr/share/cmf/:程序安裝目錄。
/usr/lib64/cmf/:Agent程序代碼。
/var/lib/cloudera-scm-server-db/data:內(nèi)嵌數(shù)據(jù)庫(kù)目錄。
/usr/bin/postgres:內(nèi)嵌數(shù)據(jù)庫(kù)程序。
/etc/cloudera-scm-agent/:agent的配置目錄。
/etc/cloudera-scm-server/:server的配置目錄。
/opt/cloudera/parcels/:Hadoop相關(guān)服務(wù)安裝目錄。
/opt/cloudera/parcel-repo/:下載的服務(wù)軟件包數(shù)據(jù),數(shù)據(jù)格式為parcels。
/opt/cloudera/parcel-cache/:下載的服務(wù)軟件包緩存數(shù)據(jù)。
/etc/hadoop/*:客戶端配置文件目錄。
2.配置
Hadoop配置文件
配置文件放置于/var/run/cloudera-scm-agent/process/目錄下。如:/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。這些配置文件是通過ClouderaManager啟動(dòng)相應(yīng)服務(wù)(如HDFS)時(shí)生成的,內(nèi)容從數(shù)據(jù)庫(kù)中獲得(即通過界面配置的參數(shù))。
在CM界面上更改配置是不會(huì)立即反映到配置文件中,這些信息會(huì)存儲(chǔ)于數(shù)據(jù)庫(kù)中,等下次重啟服務(wù)時(shí)才會(huì)生成配置文件。且每次啟動(dòng)時(shí)都會(huì)產(chǎn)生新的配置文件。
CMServer主要數(shù)據(jù)庫(kù)為scm基中放置配置的數(shù)據(jù)表為configs。里面包含了服務(wù)的配置信息,每一次配置的更改會(huì)把當(dāng)前頁(yè)面的所有配置內(nèi)容添加到數(shù)據(jù)庫(kù)中,以此保存配置修改歷史。
scm數(shù)據(jù)庫(kù)被配置成只能從localhost訪問,如果需要從外部連接此數(shù)據(jù)庫(kù),修改vim/var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重啟數(shù)據(jù)庫(kù)。運(yùn)行數(shù)據(jù)庫(kù)的用戶為cloudera-scm。
查看配置內(nèi)容
直接查詢scm數(shù)據(jù)庫(kù)的configs數(shù)據(jù)表的內(nèi)容。
訪問RESTAPI:http://hostname:7180/api/v4/cm/deployment,返回JSON格式部署配置信息。
配置生成方式
CM為每個(gè)服務(wù)進(jìn)程生成獨(dú)立的配置目錄(文件)。所有配置統(tǒng)一在服務(wù)端查詢數(shù)據(jù)庫(kù)生成(因?yàn)閟cm數(shù)據(jù)庫(kù)只能在localhost下訪問)生成配置文件,再由agent通過網(wǎng)絡(luò)下載包含配置文件的zip包到本地解壓到指定的目錄。
配置修改
CM對(duì)于需要修改的配置預(yù)先定義,對(duì)于沒有預(yù)先定義的配置,則通過在高級(jí)配置項(xiàng)中使用xml配置片段的方式進(jìn)行配置。而對(duì)于/etc/hadoop/下的配置文件是客戶端的配置,可以在CM通過部署客戶端生成客戶端配置。
3.數(shù)據(jù)庫(kù)
Clouderamanager主要的數(shù)據(jù)庫(kù)為scm,存儲(chǔ)Clouderamanager運(yùn)行所需要的信息:配置,主機(jī),用戶等。
4.CM結(jié)構(gòu)
CM分為Server與Agent兩部分及數(shù)據(jù)庫(kù)(自帶更改過的嵌入Postgresql)。它主要做三件事件:
管理監(jiān)控集群主機(jī)。
統(tǒng)一管理配置。
管理維護(hù)Hadoop平臺(tái)系統(tǒng)。
實(shí)現(xiàn)采用C/S結(jié)構(gòu),Agent為客戶端負(fù)責(zé)執(zhí)行服務(wù)端發(fā)來的命令,執(zhí)行方式一般為使用python調(diào)用相應(yīng)的服務(wù)shell腳本。Server端為JavaREST服務(wù),提供RESTAPI,Web管理端通過RESTAPI調(diào)用Server端功能,Web界面使用富客戶端技術(shù)(Knockout)。
Server端主體使用Java實(shí)現(xiàn)。
Agent端主體使用Python,服務(wù)的啟動(dòng)通過調(diào)用相應(yīng)的shell腳本進(jìn)行啟動(dòng),如果啟動(dòng)失敗會(huì)重復(fù)4次調(diào)用啟動(dòng)腳本。
Agent與Server保持心跳,使用ThriftRPC框架。
5.升級(jí)
在CM中可以通過界面向?qū)?jí)相關(guān)服務(wù)。升級(jí)過程為三步:
下載服務(wù)軟件包。
把所下載的服務(wù)軟件包分發(fā)到集群中受管的機(jī)器上。
安裝服務(wù)軟件包,使用軟鏈接的方式把服務(wù)程序目錄鏈接到新安裝的軟件包目錄上。
6.卸載
sudo/usr/share/cmf/uninstall-scm-express.sh,然后刪除/var/lib/cloudera-scm-server-db/目錄,不然下次安裝可能不成功。
7.開啟postgresql遠(yuǎn)程訪問
CM內(nèi)嵌數(shù)據(jù)庫(kù)被配置成只能從localhost訪問,如果需要從外部查看數(shù)據(jù),數(shù)據(jù)修改vim/var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重啟數(shù)據(jù)庫(kù)。運(yùn)行數(shù)據(jù)庫(kù)的用戶為cloudera-scm。
總結(jié)
以上是生活随笔為你收集整理的cloudera目录位置的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 罗布麻茶和罗布麻茶副作用的鉴别
- 下一篇: JasperReports入门教程(一)