大数据项目离线数仓(全)三(可视化工具版)
本文僅僅包含可視化的工具版,其他內容請關注我的博客!在<項目>專欄里!!!
本篇文章參考尚硅谷大數據項目寫成!
可視化的代碼版后期更新!敬請期待!!!
目錄
工具可視化(superset)
介紹:
一、安裝準備
1.1安裝Miniconda
二、安裝配置
2.1安裝Miniconda
2.2安裝python3.6環境
?2.3配置superset
2.4啟動superset
三、superset制作可視化
3.1數據源配置
?3.2 制作儀表盤
?3.3創建圖表
?3.4整體可視化配置信息
完成樣式
工具可視化(superset)
介紹:
Superset概述
Apache Superset是一個開源的、現代的、輕量級BI分析工具,能夠對接多種數據源、擁有豐富的圖標展示形式、支持自定義儀表盤,且擁有友好的用戶界面,十分易用。
Superset應用場景
由于Superset能夠對接常用的大數據分析工具,如Hive、Kylin、Druid等,且支持自定義儀表盤,故可作為數倉的可視化工具。
一、安裝準備
Superset是由Python語言編寫的Web應用,要求Python3.6的環境。
1.1安裝Miniconda
(1)介紹:
Anaconda是一個開源的包、環境管理器,可以用于在同一個機器上安裝不同Python版本的軟件包及其依賴,并能夠在不同的Python環境之間切換,Anaconda包括Conda、Python以及一大堆安裝好的工具包,比如:numpy、pandas等,Miniconda包括Conda、Python。
我們不需要如此多的工具包,所以選擇MiniConda。
(2)下載Miniconda(Python3版本)
官網:
https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
我的網盤:
鏈接:https://pan.baidu.com/s/1zZ1tmUwQ_Rbig_hnYd-43w?pwd=kjky 提取碼:kjky二、安裝配置
2.1安裝Miniconda
(1)執行以下命令進行安裝,并按照提示操作,直到安裝完成
bash Miniconda3-latest-Linux-x86_64.sh安裝路徑:/root/miniconda3
?
?
?出現Thank you for installing Miniconda3!表示安裝完成!
(2)加載環境變量配置文件,使之生效
source ~/.bash_profile 或者 source ~/.bashrc(3)取消激活base環境
Miniconda安裝完成后,每次打開終端都會激活其默認的base環境,我們可通過以下命令,禁止激活默認base環境。
conda config --set auto_activate_base false2.2安裝python3.6環境
(1)配置conda國內鏡像
conda config --add channels https://mirrors.tuna.t singhua.edu.cn/anaconda/pkgs/freeconda config --add channels https://mirrors.tuna.t singhua.edu.cn/anaconda/pkgs/mainconda config --set show_channel_urls yes?(2)創建python3.6環境
conda create --name superset python=3.6(3)激活superset環境
conda activate superset注:conda deactivate(退出superset)注:以下都是在superset環境下進行
(4)執行 python 命令查看 python 版本
退出:quit();
?2.3配置superset
(1)安裝部署
注:安裝Superset之前,需安裝以下所需依賴
sudo yum install -y python-setuptools sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel(2)安裝superset
1)安裝/更新setuptools和pip
?注:pip是python的包管理工具,可以和centos中的yum類比
pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/?2)安裝Superset
注::-i的作用是指定鏡像,這里選擇國內鏡像
pip install apache-superset -i https://pypi.douban.com/simple/?3)初始化Supetset數據庫
注:可能會出現版本問題,要先下載sqlalchemy和dataclasses
pip install sqlalchemy==1.3.24 pip install dataclasses superset db upgrade4)創建管理員用戶
export FLASK_APP=superset flask fab create-admin注:用戶名和密碼自定
注:flask是一個python web框架,Superset使用的就是flask
5)Superset初始化
superset init2.4啟動superset
1)安裝gunicorn
注:gunicorn是一個Python Web Server,可以和java中的TomCat類比
pip install gunicorn -i https://pypi.douban.com/simple/2)啟動Superset
注:確保當前conda環境為superset,前面是(superset)字樣;
注:hadoop01:8787是我的主機名和端口號
gunicorn --workers 5 --timeout 120 --bind hadoop01:8787 "superset.app:create_app()" --daemon說明:
--workers:指定進程個數
--timeout:worker進程超時時間,超時會自動重啟
--bind:綁定本機地址,即為Superset訪問地址
--daemon:后臺運行
3)停止superset
停掉gunicorn進程
ps -ef | awk '/superset/ && !/awk/{print $2}' | xargs kill -9退出superset環境
conda deactivate4)superset啟停腳本
(1)創建superset.sh文件
vim superset.sh
添加內容如下:
注:記得更改miniconda3的路徑
#!/bin/bashsuperset_status(){result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l`if [[ $result -eq 0 ]]; thenreturn 0elsereturn 1fi } superset_start(){# 該段內容取自~/.bashrc,所用是進行conda初始化# >>> conda initialize >>># !! Contents within this block are managed by 'conda init' !!__conda_setup="$('/root/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"if [ $? -eq 0 ]; theneval "$__conda_setup"elseif [ -f "/root/miniconda3/etc/profile.d/conda.sh" ]; then. "/root/miniconda3/etc/profile.d/conda.sh"elseexport PATH="/root/miniconda3/bin:$PATH"fifiunset __conda_setup# <<< conda initialize <<<superset_status >/dev/null 2>&1if [[ $? -eq 0 ]]; thenconda activate superset ; gunicorn --workers 5 --timeout 120 --bind hadoop01:8787 --daemon 'superset.app:create_app()'elseecho "superset正在運行"fi}superset_stop(){superset_status >/dev/null 2>&1if [[ $? -eq 0 ]]; thenecho "superset未在運行"elseps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9fi }case $1 instart )echo "啟動Superset"superset_start;;stop )echo "停止Superset"superset_stop;;restart )echo "重啟Superset"superset_stopsuperset_start;;status )superset_status >/dev/null 2>&1if [[ $? -eq 0 ]]; thenecho "superset未在運行"elseecho "superset正在運行"fi esac(2)加執行權限
chmod +x superset.sh
(3)測試
啟動superset
superset.sh start
停止superset
superset.sh stop
5)登錄Superset
訪問http://hadoop01:8787,并使用2.2.2節中第4步創建的管理員賬號進行登錄。
6)下載mysql依賴
conda install mysqlclient注:對接不同的數據源,需安裝不同的依賴,官網有說明
官網:http://superset.apache.org/installation.html#database-dependencies
7)重啟
superset.sh restart
三、superset制作可視化
說明:
使用MySQL數據源;
把ADS層的數據導出到MySQL,用于可視化制作!
sqoop導出數據到MySQL_一個人的牛牛的博客-CSDN博客
注:可以更改語言
3.1數據源配置
把ADS層數據導出到MySQL,用于可視化。
sqoop導出數據到MySQL_一個人的牛牛的博客-CSDN博客
(1)database配置
1)點擊database,點擊+號添加
2)填寫Database及SQL Alchemy URI
注:SQL Alchemy URI編寫規范:mysql://賬號:密碼@IP/數據庫名稱
點擊Test?Connection,出現“Seems?Ok!”提示即表示連接成功
下拉到最下面保存配置
?
?(2)table配置
1)點擊Datasets,點擊+號添加
添加Database ,添加Table Name?
?保存
?3.2 制作儀表盤
(1)點擊Dashboards,點擊+號添加
?(2)輸入Title名,然后保存
?3.3創建圖表
(1)點擊Charts,點擊+號添加
?(2)添加數據源,圖表類型,然后創建
?圖表類型
?(3)配置圖表
注意看配置,前面添加的配置會顯示
?(4)保存圖表,并將其添加到儀表盤
?
?(5)編輯儀表盤
?運用行列調整
?
?下面這些位置可以調整大下
(6)設置刷新時間
?3.4整體可視化配置信息
?
?最后調整,這個過程有一點繁瑣,一定要有耐心!
加油IT人!!!
完成樣式
作者水平低,如有錯誤,懇請指正!謝謝!!!
注:
數據資料來源于尚硅谷
總結
以上是生活随笔為你收集整理的大数据项目离线数仓(全)三(可视化工具版)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 简单sql存储过程实例、储过程实战
- 下一篇: 计算机组成原理慕课第六章答案,计算机组成