1. 背景

最近在學習kylin，在安裝的時候遇到一些坑，特意記錄起來，也希望同樣在學習kylin的人，少踩一些坑(要是連安裝都過不去，還怎么學！！！)。

2. 環境

我選的kylin版本是1.5.4，因為買了一本叫《Apache kylin權威指南》，書中以1.5.x為藍本，為了避免少踩坑，保持和書中版本一致。

關于kylin安裝環境，參考

，下面是我自己的環境，只是為了學習，所有的安裝都是偽分布式的，也沒有關注高可用

Ubuntu 14.04.5 LTS

hadoop-2.7.1.tar.gz

jdk-8u172-linux-x64.tar.gz

hbase-1.2.5-bin.tar.gz

apache-kylin-1.5.4-HBase1.x-bin.tar.gz

apache-hive-1.2.1-bin.tar.gz

特別注意點

：

kylin的版本要和hbase的版本對應，具體參考官網說明(

)，其實kylin打包的名字也能看出來

注意hadoop和hbase的版本(

)

jdk和hbase的版本(

)

hive和jdk版本(

)

最好在linux環境下安裝，在mac下，啟動kylin的時候，腳本會報錯，當然可以改腳本 (

)。此外，在Ubuntu下安裝也不省心，啟動kylin也會報錯，改腳本吧。那么，最好使用centos，我嘗試了，不會報錯。

3. 安裝

下載安裝包，這個鏈接可以下載到apache所有的安裝包，但速度不快，有些找不到的安裝包，可以在這里下載(

)，解壓

設置環境變量

export?JAVA_HOME=/root/jdk1.8.0_172

export?HADOOP_HOME=/root/hadoop-2.7.1

export?HIVE_HOME=/root/hive-1.2.1

export?HBASE_HOME=/root/hbase-1.2.5

export?KYLIN_HOME=/root/kylin-1.5.4

export?PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$KYLIN_HOME/bin

安裝hadoop，主要編輯的文件有：core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml(都在$HADOOP_HOME/etc/hadoop目錄內)(

)

然后，format namenode

bin/hdfs namenode -format

，啟動hdfs

sbin/start-dfs.sh

，啟動yarn

sbin/start-yarn.sh

,

可以查namenode的情況，

可以查看resourcemanager情況ssh to localhost without a passphrase, execute the following commands

$?ssh-keygen?-t?rsa?-P?''?-f?~/.ssh/id_rsa

$?cat?~/.ssh/id_rsa.pub?>>?~/.ssh/authorized_keys

$?chmod?0600?~/.ssh/authorized_keys

hadoop-env.sh，加一行JAVA_HOME

export?JAVA_HOME=/root/jdk1.8.0_172

core.xml

fs.defaultFS

hdfs://localhost:9000

hadoop.tmp.dir

/root/tmp

hdfs-site.xml

dfs.replication

1

mapred-site.xml：jobhistory記得也要配置，我之前沒有配置，導致使用kylin的sampldata構建cube失敗

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

localhost:10020

mapreduce.jobhistory.webapp.address

localhost:19888

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

安裝hive：主要編輯的文件為hive-site.xml，此文件通過copy hive-default.xml.template而來(

)

在hdfs上面創建目錄

$?$HADOOP_HOME/bin/hadoop?fs?-mkdir???????/tmp

$?$HADOOP_HOME/bin/hadoop?fs?-mkdir???????/user/hive/warehouse

$?$HADOOP_HOME/bin/hadoop?fs?-chmod?g+w???/tmp

$?$HADOOP_HOME/bin/hadoop?fs?-chmod?g+w???/user/hive/warehouse

修改hive-site.xml，主要改的地方為

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hive

javax.jdo.option.ConnectionPassword

hive

上面就是使用mysql存儲hive的元數據，如果出現SSL問題，就把useSSL置為false，

特別注意，不要使用默認的derby，否則在運行kylin的sampledata時，無法在hive中創建表

，此外，還需要把hive-site.xml中的

s

y

s

t

e

m

:

j

a

v

a

.

i

o

.

t

m

p

d

i

r

和

system:java.io.tmpdir和

{system:user.name}分別替換成/tmp和${user.name}，當然還需要把mysql-connector-java.x.jar二方包加入hive的lib目錄中，

特別注意，使用5.x版本，不要使用6.x版本

。最后，運行

bin/hive

安裝hbase：主要修改的文件為hbase-env.sh、hbase-site.xml(

)

修改hbase-env.sh，添加

export JAVA_HOME=/root/jdk1.8.0_172

修改hbase-site.xml

hbase.rootdir

hdfs://localhost:9000/hbase

hbase.cluster.distributed

true

hbase.zookeeper.property.dataDir

/root/tmp/hbase/zookeeper

特別注意，對于偽分布式安裝，hbase.cluster.distributed要設置為true。此外，這里使用hbase內置的zookeeper。

最后，執行bin/satrt-hbase.sh，啟動hbase

安裝kylin

修改check-env.sh：可以先執行

bin/check-env.sh

，一般來說配置了上面所述的環境變量，是可以通過check，但是這個腳本在mac和ubuntu下執行還是有問題，mac下的問題我沒有解決，Ubuntu下面問題解了。原因是

get-properties.sh

內容在Ubuntu下執行有問題。不過在centos下沒有這個問題(

)

##?原始文件

if?[?$#?!=?1?]

then

echo?'invalid?input'

exit?-1

fi

IFS=$'\n'

result=

for?i?in?`cat?${KYLIN_HOME}/conf/kylin.properties?|?grep?-w?"^$1"?|?grep?-v?'^#'?|?awk?-F=?'{?n?=?index($0,"=");?print?substr($0,n+1)}'?|?cut?-c?1-`

do

:

result=$i

done

echo?$result

##?修改后的文件

if?[?$#?!=?1?]

then

echo?'invalid?input'

exit?-1

fi

#IFS=$'\n'

result=`cat?${KYLIN_HOME}/conf/kylin.properties?|?grep?-w?"^$1"?|?grep?-v?'^#'?|?awk?-F=?'{?n?=?index($0,"=");?print?substr($0,n+1)}'?|?cut?-c?1-`

#for?i?in?`cat?${KYLIN_HOME}/conf/kylin.properties?|?grep?-w?"^$1"?|?grep?-v?'^#'?|?awk?-F=?'{?n?=?index($0,"=");?print?substr($0,n+1)}'?|?cut?-c?1-`

#do

#???:

#???result=$i

#done

echo?$result

我目前使用的是apache-kylin-1.5.4-HBase1.x-bin.tar.gz版本，此版本在conf目錄下，把壓縮相關的配置注釋了，包括kylin_hive_conf.xml、kylin_job_conf_inmem.xml、 kylin_job_conf.xml、kylin.properties，我之前用1.5.3并沒有注釋掉，導致在運行構建cube是出現snappy不存在問題。

#?Compression?codec?for?htable,?valid?value?[none,?snappy,?lzo,?gzip,?lz4]

#?1.5.3默認未snappy，但是我使用的hadoop的并沒有snappy壓縮功能，所以要么把壓縮相關的配置注釋掉，或者重新打包hadoop

kylin.hbase.default.compression.codec=none

之后，運行

bin/kylin.sh satrt

，啟動成功后，訪問

，用戶名是ADMIN，密碼是KYLIN。然后可以運行

bin/sample.sh

，體驗下kylin，運行完

sample.sh

后重啟kylin，就可以build cube了。

3. 其他

最好使用linux

build cube出現

Unexpected exception: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.

【本文來源于云棲社區，原文鏈接：，作者：

徐潔陽

】

總結

以上是生活随笔為你收集整理的kylin linux 安装教程,新手入门必备：kylin安装教程介绍！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。