日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

大数据项目离线数仓(全)三(可视化工具版)

發布時間:2023/12/14 编程问答 40 豆豆
生活随笔 收集整理的這篇文章主要介紹了 大数据项目离线数仓(全)三(可视化工具版) 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

本文僅僅包含可視化的工具版,其他內容請關注我的博客!在<項目>專欄里!!!

本篇文章參考尚硅谷大數據項目寫成!

可視化的代碼版后期更新!敬請期待!!!

目錄

工具可視化(superset)

介紹:

一、安裝準備

1.1安裝Miniconda

二、安裝配置

2.1安裝Miniconda

2.2安裝python3.6環境

?2.3配置superset

2.4啟動superset

三、superset制作可視化

3.1數據源配置

?3.2 制作儀表盤

?3.3創建圖表

?3.4整體可視化配置信息

完成樣式


工具可視化(superset)

介紹:

Superset概述

Apache Superset是一個開源的、現代的、輕量級BI分析工具,能夠對接多種數據源、擁有豐富的圖標展示形式、支持自定義儀表盤,且擁有友好的用戶界面,十分易用。

Superset應用場景

由于Superset能夠對接常用的大數據分析工具,如Hive、Kylin、Druid等,且支持自定義儀表盤,故可作為數倉的可視化工具。

一、安裝準備

Superset是由Python語言編寫的Web應用,要求Python3.6的環境。

1.1安裝Miniconda

(1)介紹:

Anaconda是一個開源的包、環境管理器,可以用于在同一個機器上安裝不同Python版本的軟件包及其依賴,并能夠在不同的Python環境之間切換,Anaconda包括Conda、Python以及一大堆安裝好的工具包,比如:numpy、pandas等,Miniconda包括Conda、Python。

我們不需要如此多的工具包,所以選擇MiniConda。

(2)下載Miniconda(Python3版本)

官網:

https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

我的網盤:

鏈接:https://pan.baidu.com/s/1zZ1tmUwQ_Rbig_hnYd-43w?pwd=kjky 提取碼:kjky

二、安裝配置

2.1安裝Miniconda

(1)執行以下命令進行安裝,并按照提示操作,直到安裝完成

bash Miniconda3-latest-Linux-x86_64.sh

安裝路徑:/root/miniconda3

?

?

?出現Thank you for installing Miniconda3!表示安裝完成!

(2)加載環境變量配置文件,使之生效

source ~/.bash_profile 或者 source ~/.bashrc

(3)取消激活base環境

Miniconda安裝完成后,每次打開終端都會激活其默認的base環境,我們可通過以下命令,禁止激活默認base環境。

conda config --set auto_activate_base false

2.2安裝python3.6環境

(1)配置conda國內鏡像

conda config --add channels https://mirrors.tuna.t singhua.edu.cn/anaconda/pkgs/freeconda config --add channels https://mirrors.tuna.t singhua.edu.cn/anaconda/pkgs/mainconda config --set show_channel_urls yes

?(2)創建python3.6環境

conda create --name superset python=3.6

(3)激活superset環境

conda activate superset注:conda deactivate(退出superset)

注:以下都是在superset環境下進行

(4)執行 python 命令查看 python 版本

退出:quit();

?2.3配置superset

(1)安裝部署

注:安裝Superset之前,需安裝以下所需依賴

sudo yum install -y python-setuptools sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel

(2)安裝superset

1)安裝/更新setuptools和pip

?注:pip是python的包管理工具,可以和centos中的yum類比

pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/

?2)安裝Superset

注::-i的作用是指定鏡像,這里選擇國內鏡像

pip install apache-superset -i https://pypi.douban.com/simple/

?3)初始化Supetset數據庫

注:可能會出現版本問題,要先下載sqlalchemy和dataclasses

pip install sqlalchemy==1.3.24 pip install dataclasses superset db upgrade

4)創建管理員用戶

export FLASK_APP=superset flask fab create-admin

注:用戶名和密碼自定

注:flask是一個python web框架,Superset使用的就是flask

5)Superset初始化

superset init

2.4啟動superset

1)安裝gunicorn

注:gunicorn是一個Python Web Server,可以和java中的TomCat類比

pip install gunicorn -i https://pypi.douban.com/simple/

2)啟動Superset

注:確保當前conda環境為superset,前面是(superset)字樣;

注:hadoop01:8787是我的主機名和端口號

gunicorn --workers 5 --timeout 120 --bind hadoop01:8787 "superset.app:create_app()" --daemon

說明:

--workers:指定進程個數

--timeout:worker進程超時時間,超時會自動重啟

--bind:綁定本機地址,即為Superset訪問地址

--daemon:后臺運行

3)停止superset

停掉gunicorn進程

ps -ef | awk '/superset/ && !/awk/{print $2}' | xargs kill -9

退出superset環境

conda deactivate

4)superset啟停腳本

(1)創建superset.sh文件

vim superset.sh

添加內容如下:

注:記得更改miniconda3的路徑

#!/bin/bashsuperset_status(){result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l`if [[ $result -eq 0 ]]; thenreturn 0elsereturn 1fi } superset_start(){# 該段內容取自~/.bashrc,所用是進行conda初始化# >>> conda initialize >>># !! Contents within this block are managed by 'conda init' !!__conda_setup="$('/root/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"if [ $? -eq 0 ]; theneval "$__conda_setup"elseif [ -f "/root/miniconda3/etc/profile.d/conda.sh" ]; then. "/root/miniconda3/etc/profile.d/conda.sh"elseexport PATH="/root/miniconda3/bin:$PATH"fifiunset __conda_setup# <<< conda initialize <<<superset_status >/dev/null 2>&1if [[ $? -eq 0 ]]; thenconda activate superset ; gunicorn --workers 5 --timeout 120 --bind hadoop01:8787 --daemon 'superset.app:create_app()'elseecho "superset正在運行"fi}superset_stop(){superset_status >/dev/null 2>&1if [[ $? -eq 0 ]]; thenecho "superset未在運行"elseps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9fi }case $1 instart )echo "啟動Superset"superset_start;;stop )echo "停止Superset"superset_stop;;restart )echo "重啟Superset"superset_stopsuperset_start;;status )superset_status >/dev/null 2>&1if [[ $? -eq 0 ]]; thenecho "superset未在運行"elseecho "superset正在運行"fi esac

(2)加執行權限

chmod +x superset.sh

(3)測試

啟動superset

superset.sh start

停止superset

superset.sh stop

5)登錄Superset

訪問http://hadoop01:8787,并使用2.2.2節中第4步創建的管理員賬號進行登錄。

6)下載mysql依賴

conda install mysqlclient

注:對接不同的數據源,需安裝不同的依賴,官網有說明

官網:http://superset.apache.org/installation.html#database-dependencies

7)重啟

superset.sh restart

三、superset制作可視化

說明:

使用MySQL數據源;

把ADS層的數據導出到MySQL,用于可視化制作!

sqoop導出數據到MySQL_一個人的牛牛的博客-CSDN博客

注:可以更改語言

3.1數據源配置

把ADS層數據導出到MySQL,用于可視化。

sqoop導出數據到MySQL_一個人的牛牛的博客-CSDN博客

(1)database配置

1)點擊database,點擊+號添加

2)填寫Database及SQL Alchemy URI

注:SQL Alchemy URI編寫規范:mysql://賬號:密碼@IP/數據庫名稱

點擊Test?Connection,出現“Seems?Ok!”提示即表示連接成功

下拉到最下面保存配置

?

?(2)table配置

1)點擊Datasets,點擊+號添加

添加Database ,添加Table Name?

?保存

?3.2 制作儀表盤

(1)點擊Dashboards,點擊+號添加

?(2)輸入Title名,然后保存

?3.3創建圖表

(1)點擊Charts,點擊+號添加

?(2)添加數據源,圖表類型,然后創建

?圖表類型

?(3)配置圖表

注意看配置,前面添加的配置會顯示

?(4)保存圖表,并將其添加到儀表盤

?

?(5)編輯儀表盤

?運用行列調整

?

?下面這些位置可以調整大下

(6)設置刷新時間

?3.4整體可視化配置信息

?

?最后調整,這個過程有一點繁瑣,一定要有耐心!

加油IT人!!!

完成樣式

作者水平低,如有錯誤,懇請指正!謝謝!!!

注:

數據資料來源于尚硅谷

總結

以上是生活随笔為你收集整理的大数据项目离线数仓(全)三(可视化工具版)的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。