大數(shù)據(jù)TMDB安裝及使用

過程整體分文五步驟##

（1）安裝Linux操作系統(tǒng)：比如可以安裝Ubuntu 16.04。

###（2）安裝Hadoop：需要在Linux系統(tǒng)上安裝Hadoop。
###（3）安裝Spark：需要在Linux系統(tǒng)上安裝Spark裝。
###（4）安裝Bottl：

（5）調(diào)試及運行代碼

1.安裝Linux

###1.安裝三臺centos7虛擬機(jī)
###2.配置網(wǎng)絡(luò)

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static # 地址分配模式 DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 # 網(wǎng)卡名稱 UUID=1fccfa54-98bd-4101-9eca-bc976d7c042a DEVICE=ens33 ONBOOT=yes # 是否開機(jī)激活 IPADDR=192.168.0.135 # IP地址 NETMASK=255.255.255.0 # 子網(wǎng)掩碼 GATEWAY=192.168.0.2 # 網(wǎng)關(guān)地址 DNS1=114.114.114.114 # DNS地址 DNS2=8.8.8.8 # DNS地址

systemctl restart network

3.使用xshell進(jìn)行遠(yuǎn)程鏈接

如果出現(xiàn)鏈接緩慢等問題是因為檢查dns導(dǎo)致的，需要進(jìn)行更改

vi /etc/ssh/sshd_config //進(jìn)入到配置文件中

#找到文件中： UseDNS yes #改為： UseDNS no

systemctl restart sshd //重啟sshd服務(wù)

4.安裝vim、lrzsz等工具

yum install vim -y

yum install lrzsz -y

2.安裝hadoop

1安裝jdk

2永久關(guān)閉防火墻

先查看防火墻狀態(tài)systemctl status firewalld.service

如果還在運行則關(guān)閉防火墻systemctl stop firewalld.service

禁用防火墻systemctl disable firewalld.service

3修改主機(jī)名和IP的映射關(guān)系

vim /etc/hosts

4做節(jié)點之間的免密配置

生成密鑰
ssh-keygen

將公鑰追加到authorized_keys（訪問文件）
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

測試
ssh localhost （不需要密碼登錄說明成功）

發(fā)送
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01

5上傳并解壓hadoop

6配置環(huán)境變量

vi /etc/profile

export JAVA_HOME=/home/java/jdk1.8 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HADOOP_HOME=/home/hadoop/hadoop2.7 export HADOOP_LOG_DIR=/home/hadoop/hadoop2.7/logs export YARN_LOG_DIR=$HADOOP_LOG_DIRexport PATH=.:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

source /etc/profile

7創(chuàng)建目錄

mkdir /home/hadoop/hadoop2.7/tmp 用來存放臨時文件

mkdir /home/hadoop/hadoop2.7/logs 用來存放日志文件

mkdir /home/hadoop/hadoop2.7/hdfs 用來存儲集群數(shù)據(jù)

mkdir /home/hadoop/hadoop2.7/hdfs/name 用來存儲文件系統(tǒng)元數(shù)據(jù)

mkdir /home/hadoop/hadoop2.7/hdfs/data 用來存儲真正的數(shù)據(jù)

8修改 hadoop-env.sh和yarn-env.sh中Javahome值

export JAVA_HOME=/tmdb/jdk1.8.0_162

9修改核心配置文件

vi core-site.xml

<property><name> fs.default.name </name><value>hdfs://master:9000</value><description>指定HDFS的默認(rèn)名稱</description></property><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><description>HDFS的URI</description></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop2.7/tmp</value><description>節(jié)點上本地的hadoop臨時文件夾</description></property>

vi hdfs-site.xml

<property><name>dfs.namenode.name.dir</name><value>file:/home/hadoop/hadoop2.7/hdfs/name</value><description>namenode上存儲hdfs名字空間元數(shù)據(jù) </description></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/hadoop2.7/hdfs/data</value><description>datanode上數(shù)據(jù)塊的物理存儲位置</description></property><property><name>dfs.replication</name><value>1</value><description>副本個數(shù)，默認(rèn)是3,應(yīng)小于datanode機(jī)器數(shù)量</description></property>

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<property><name>mapreduce.framework.name</name><value>yarn</value><description>指定mapreduce使用yarn框架</description></property>

vi yarn-site.xml

<property><name>yarn.resourcemanager.hostname</name><value>master</value><description>指定resourcemanager所在的hostname</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>NodeManager上運行的附屬服務(wù)。需配置成mapreduce_shuffle，才可運行 MapReduce程序</description></property>

vi slaves

node1node2node3

10遠(yuǎn)程發(fā)送包含有jdk和hadoop的文件夾以及profile文件給其他節(jié)點

scp -r /tmdb root@slave2:/

scp -r /etc/profile root@slave2:/etc
###11格式化hdfs ###
hdfs namenode -format

12啟動hadoop

如果沒有配置環(huán)境變量則進(jìn)入hadoop下的sbin目錄

start-all.sh
輸入yes即可啟動
###13使用jps查看每個節(jié)點的進(jìn)程 ###
###14 用web端查看節(jié)點信息 ###

在瀏覽器打開master:8088或master:50070

打開后顯示節(jié)點的信息并都正常運行，即搭建成功

3.安裝spark

1下載并上傳以及解壓安裝文件

http://spark.apache.org/downloads.html

2.修改環(huán)境變量

vi /etc/profile

#Spark Envexport SPARK_HOME=/usr/spark-2.1.0export PATH=PATH:SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile
###3配置spark ###

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

export JAVA_HOME=/usr/jdk1.8.0_121export SCALA_HOME=/usr/scala-2.12.1export SPARK_MASTER_IP=10.10.0.1export SPARK_WORKER_MEMORY=1gexport HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoop

mv slaves.template slaves

vi slaves

master
slave1
slave2

4安裝sacla語言并配置環(huán)境變量

5發(fā)送spark文件夾和環(huán)境變量到其他借點

scp -r /tmdb root@slave2:/scp -r /etc/profile root@slave2:/etc

6spark使用方法

1.啟動hadoop

./start-all.sh

2.啟動Master節(jié)點

start-master.sh

3.啟動Worker節(jié)點

start-slaves.sh

4.通過瀏覽器查看Spark信息

http://192.168.100.10:8080

5.停止Master及Workder節(jié)點

stop-master.sh

stop-slaves.sh

##4安裝Bottl ##

yum install python3-pip

pip3 install bottle

5.調(diào)試及運行代碼

1.升級Python版本到Python3.6

在開始升級之前一定記得查看一下自己原本的python版本是多少，最后配置pip3和yum的時候會用到。

[root@bogon ~]# python -VPython 2.7.5

1、安裝必備軟件

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel gcc

2、下載Python3.6

mkdir /usr/python3.6

cd /usr/python3.6wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgztar -xvf Python-3.6.4.tgz

3、安裝Python3

mkdir /usr/local/python3

4、編譯

在解壓的文件夾下(/usr/python3/python3.6.4)

pwd

./configure --prefix=/usr/local/python3

5、安裝

在解壓的文件夾下(/usr/python3/python3.6.4)

make

make install //先make再make install

6、創(chuàng)建新版本的軟鏈接

mv /usr/bin/python /usr/bin/python_bak

ln -s /usr/local/python3/bin/python3 /usr/bin/python

7、配置

vim ~/.bash_profile

if [ -f ~/.bashrc ]; then . ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/bin:/usr/local/python3/binexport PATH

source ~/.bash_profile

8、問題

vi /usr/bin/yum

!/usr/bin/python2.7！

vi /usr/libexec/urlgrabber-ext-down

!/usr/bin/python2.7！

2.準(zhǔn)備rar解壓縮工具

3.上傳代碼及數(shù)據(jù)包到Linux中

4.將數(shù)據(jù)文件上傳到hdfs上

hdfs dfs -mkdir /user/hadoop

hdfs dfs -put tmdb_5000_movies.csv /user/hadoop

5.解壓縮project.rar項目文件

rar x project.rar

###6.運行代碼 ###
進(jìn)入project文件夾下

cd /tmdb/data/project

運行數(shù)據(jù)分析代碼

spark-submit analyst.py

運行數(shù)據(jù)可視化代碼

spark-submit web.py

當(dāng)出現(xiàn)以下命令行提示時運行成功

[root@master project]# spark-submit web.py21/06/11 19:54:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableBottle v0.12.19 server starting up (using WSGIRefServer())...Listening on http://0.0.0.0:9999/Hit Ctrl-C to quit.

打開瀏覽器訪問 http://192.168.100.10:9999 即可看到可視化結(jié)果

總結(jié)

以上是生活随笔為你收集整理的大数据基于TMDB的电影数据分析系统安装及使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。