想起馬上就能回家了,心情是按捺不住的激動(dòng)，唉，還是繼續(xù)努力吧，其實(shí)不希望那么快就回家,感覺回去了就意味著馬上就要回來了,人真的是神奇呀

　　今天我們來使用zeppelin,這個(gè)就是可以把我們查找的數(shù)據(jù)可以圖形化的方式顯示出來,好了,今天開始我們的任務(wù)吧

　　1.首先我們要下載zeppelin的壓縮包,當(dāng)我們解壓之后(這一臺(tái)主機(jī)上面已經(jīng)安裝過了java的環(huán)境)

　　2.修改配置環(huán)境

　　　進(jìn)入conf/

　　　將zeppelin-env.sh.template修改為zeppelin-env.sh

　　　將zeppelin-site.xml.template修改為zeppelin-site.xml

　　

　　　然后我們接下來修改conf/zeppelin-env.sh新增

　　　　　　export SPARK_MASTER_IP=192.168.109.136

　　　　　　export SPARK_LOCAL_IP=192.168.109.136

　　3.啟動(dòng)zeppelin

　　　　進(jìn)入zeppelin:進(jìn)入bin目錄下執(zhí)行./zeppelin-daemon.sh start

　　　　然后瀏覽器訪問192.168.109.136:8080進(jìn)入界面

　　

　　　　　　此時(shí)就啟動(dòng)成功

　　4.zeppelin簡單實(shí)用

　　　　1.text

　　　　

　　　　2.html

　　　　

　　　　3.table

　　　　

　　　　

　　　　5.可以對(duì)數(shù)據(jù)進(jìn)行分析

　　　　對(duì)于我做的最多的分析,就是基于學(xué)校的那個(gè)資料,我有學(xué)校里面的信息,這個(gè)里面的每一行的信息是以","

　　　　進(jìn)行分隔,這個(gè)其中里面的民族,此時(shí)我們對(duì)這個(gè)民族進(jìn)行分析

　　　　

　　　　由于我們這個(gè)zeppelin是在linux里面的啟動(dòng),所以我們必須把原有的數(shù)據(jù)放到linux的里面,此時(shí)zeppelin讀的文件目錄是linux里面的目錄

　　　　

　　　　

　　　　則此時(shí)我們就可以對(duì)數(shù)據(jù)庫里面的東西進(jìn)行視圖分析,我們通過這個(gè)數(shù)據(jù),我們發(fā)現(xiàn)通過讀取數(shù)據(jù)

　　　　,以分組的方式,然后在查詢數(shù)據(jù)有多少個(gè),這樣就可以對(duì)數(shù)據(jù)進(jìn)行顯示

　　　　a.

val text = sc.textFile("/tmp/xjdx.txt") case class Person(college:String,time:Integer) val rdd1 = text.map(line =>{val fields = line.split(",")if(fields.length >=10){val mz = fields(10)Person(mz,1)}else{Person("1",1)} })

　　　　b.

rdd1.toDF().registerTempTable("rdd1")

　　　　c.

%sql select college,count(1) from rdd1 group by college

　　　　這個(gè)里面只是針對(duì)于存儲(chǔ)介質(zhì)是文件的形式,對(duì)于數(shù)據(jù)庫的那個(gè)有問題,我會(huì)在以后的章節(jié)繼續(xù)介紹的,敬請(qǐng)期待

轉(zhuǎn)載于:https://www.cnblogs.com/wnbahmbb/p/6291599.html

總結(jié)

以上是生活随笔為你收集整理的zeppelin的安装与使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。