1. 背景

最近在學(xué)習(xí)kylin，在安裝的時(shí)候遇到一些坑，特意記錄起來，也希望同樣在學(xué)習(xí)kylin的人，少踩一些坑(要是連安裝都過不去，還怎么學(xué)！！！)。

2. 環(huán)境

我選的kylin版本是1.5.4，因?yàn)橘I了一本叫《Apache kylin權(quán)威指南》，書中以1.5.x為藍(lán)本，為了避免少踩坑，保持和書中版本一致。

關(guān)于kylin安裝環(huán)境，參考

，下面是我自己的環(huán)境，只是為了學(xué)習(xí)，所有的安裝都是偽分布式的，也沒有關(guān)注高可用

Ubuntu 14.04.5 LTS

hadoop-2.7.1.tar.gz

jdk-8u172-linux-x64.tar.gz

hbase-1.2.5-bin.tar.gz

apache-kylin-1.5.4-HBase1.x-bin.tar.gz

apache-hive-1.2.1-bin.tar.gz

特別注意點(diǎn)

：

kylin的版本要和hbase的版本對(duì)應(yīng)，具體參考官網(wǎng)說明(

)，其實(shí)kylin打包的名字也能看出來

注意hadoop和hbase的版本(

)

jdk和hbase的版本(

)

hive和jdk版本(

)

最好在linux環(huán)境下安裝，在mac下，啟動(dòng)kylin的時(shí)候，腳本會(huì)報(bào)錯(cuò)，當(dāng)然可以改腳本 (

)。此外，在Ubuntu下安裝也不省心，啟動(dòng)kylin也會(huì)報(bào)錯(cuò)，改腳本吧。那么，最好使用centos，我嘗試了，不會(huì)報(bào)錯(cuò)。

3. 安裝

下載安裝包，這個(gè)鏈接可以下載到apache所有的安裝包，但速度不快，有些找不到的安裝包，可以在這里下載(

)，解壓

設(shè)置環(huán)境變量

export?JAVA_HOME=/root/jdk1.8.0_172

export?HADOOP_HOME=/root/hadoop-2.7.1

export?HIVE_HOME=/root/hive-1.2.1

export?HBASE_HOME=/root/hbase-1.2.5

export?KYLIN_HOME=/root/kylin-1.5.4

export?PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$KYLIN_HOME/bin

安裝hadoop，主要編輯的文件有：core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml(都在$HADOOP_HOME/etc/hadoop目錄內(nèi))(

)

然后，format namenode

bin/hdfs namenode -format

，啟動(dòng)hdfs

sbin/start-dfs.sh

，啟動(dòng)yarn

sbin/start-yarn.sh

,

可以查namenode的情況，

可以查看resourcemanager情況ssh to localhost without a passphrase, execute the following commands

$?ssh-keygen?-t?rsa?-P?''?-f?~/.ssh/id_rsa

$?cat?~/.ssh/id_rsa.pub?>>?~/.ssh/authorized_keys

$?chmod?0600?~/.ssh/authorized_keys

hadoop-env.sh，加一行JAVA_HOME

export?JAVA_HOME=/root/jdk1.8.0_172

core.xml

fs.defaultFS

hdfs://localhost:9000

hadoop.tmp.dir

/root/tmp

hdfs-site.xml

dfs.replication

1

mapred-site.xml：jobhistory記得也要配置，我之前沒有配置，導(dǎo)致使用kylin的sampldata構(gòu)建cube失敗

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

localhost:10020

mapreduce.jobhistory.webapp.address

localhost:19888

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

安裝hive：主要編輯的文件為hive-site.xml，此文件通過copy hive-default.xml.template而來(

)

在hdfs上面創(chuàng)建目錄

$?$HADOOP_HOME/bin/hadoop?fs?-mkdir???????/tmp

$?$HADOOP_HOME/bin/hadoop?fs?-mkdir???????/user/hive/warehouse

$?$HADOOP_HOME/bin/hadoop?fs?-chmod?g+w???/tmp

$?$HADOOP_HOME/bin/hadoop?fs?-chmod?g+w???/user/hive/warehouse

修改hive-site.xml，主要改的地方為

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hive

javax.jdo.option.ConnectionPassword

hive

上面就是使用mysql存儲(chǔ)hive的元數(shù)據(jù)，如果出現(xiàn)SSL問題，就把useSSL置為false，

特別注意，不要使用默認(rèn)的derby，否則在運(yùn)行kylin的sampledata時(shí)，無法在hive中創(chuàng)建表

，此外，還需要把hive-site.xml中的

s

y

s

t

e

m

:

j

a

v

a

.

i

o

.

t

m

p

d

i

r

和

system:java.io.tmpdir和

{system:user.name}分別替換成/tmp和${user.name}，當(dāng)然還需要把mysql-connector-java.x.jar二方包加入hive的lib目錄中，

特別注意，使用5.x版本，不要使用6.x版本

。最后，運(yùn)行

bin/hive

安裝hbase：主要修改的文件為hbase-env.sh、hbase-site.xml(

)

修改hbase-env.sh，添加

export JAVA_HOME=/root/jdk1.8.0_172

修改hbase-site.xml

hbase.rootdir

hdfs://localhost:9000/hbase

hbase.cluster.distributed

true

hbase.zookeeper.property.dataDir

/root/tmp/hbase/zookeeper

特別注意，對(duì)于偽分布式安裝，hbase.cluster.distributed要設(shè)置為true。此外，這里使用hbase內(nèi)置的zookeeper。

最后，執(zhí)行bin/satrt-hbase.sh，啟動(dòng)hbase

安裝kylin

修改check-env.sh：可以先執(zhí)行

bin/check-env.sh

，一般來說配置了上面所述的環(huán)境變量，是可以通過check，但是這個(gè)腳本在mac和ubuntu下執(zhí)行還是有問題，mac下的問題我沒有解決，Ubuntu下面問題解了。原因是

get-properties.sh

內(nèi)容在Ubuntu下執(zhí)行有問題。不過在centos下沒有這個(gè)問題(

)

##?原始文件

if?[?$#?!=?1?]

then

echo?'invalid?input'

exit?-1

fi

IFS=$'\n'

result=

for?i?in?`cat?${KYLIN_HOME}/conf/kylin.properties?|?grep?-w?"^$1"?|?grep?-v?'^#'?|?awk?-F=?'{?n?=?index($0,"=");?print?substr($0,n+1)}'?|?cut?-c?1-`

do

:

result=$i

done

echo?$result

##?修改后的文件

if?[?$#?!=?1?]

then

echo?'invalid?input'

exit?-1

fi

#IFS=$'\n'

result=`cat?${KYLIN_HOME}/conf/kylin.properties?|?grep?-w?"^$1"?|?grep?-v?'^#'?|?awk?-F=?'{?n?=?index($0,"=");?print?substr($0,n+1)}'?|?cut?-c?1-`

#for?i?in?`cat?${KYLIN_HOME}/conf/kylin.properties?|?grep?-w?"^$1"?|?grep?-v?'^#'?|?awk?-F=?'{?n?=?index($0,"=");?print?substr($0,n+1)}'?|?cut?-c?1-`

#do

#???:

#???result=$i

#done

echo?$result

我目前使用的是apache-kylin-1.5.4-HBase1.x-bin.tar.gz版本，此版本在conf目錄下，把壓縮相關(guān)的配置注釋了，包括kylin_hive_conf.xml、kylin_job_conf_inmem.xml、 kylin_job_conf.xml、kylin.properties，我之前用1.5.3并沒有注釋掉，導(dǎo)致在運(yùn)行構(gòu)建cube是出現(xiàn)snappy不存在問題。

#?Compression?codec?for?htable,?valid?value?[none,?snappy,?lzo,?gzip,?lz4]

#?1.5.3默認(rèn)未snappy，但是我使用的hadoop的并沒有snappy壓縮功能，所以要么把壓縮相關(guān)的配置注釋掉，或者重新打包hadoop

kylin.hbase.default.compression.codec=none

之后，運(yùn)行

bin/kylin.sh satrt

，啟動(dòng)成功后，訪問

，用戶名是ADMIN，密碼是KYLIN。然后可以運(yùn)行

bin/sample.sh

，體驗(yàn)下kylin，運(yùn)行完

sample.sh

后重啟kylin，就可以build cube了。

3. 其他

最好使用linux

build cube出現(xiàn)

Unexpected exception: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support.

【本文來源于云棲社區(qū)，原文鏈接：，作者：

徐潔陽

】

總結(jié)

以上是生活随笔為你收集整理的kylin linux 安装教程,新手入门必备：kylin安装教程介绍！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。