数据仓库之电商数仓-- 2、业务数据采集平台
生活随笔
收集整理的這篇文章主要介紹了
数据仓库之电商数仓-- 2、业务数据采集平台
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目錄
- 一、電商業務簡介
- 1.1 電商業務流程
- 1.2 電商常識(SKU、SPU)
- 1.3 電商系統表結構
- 1.3.1 活動信息表(activity_info)
- 1.3.2 活動規則表(activity_rule)
- 1.3.3 活動商品關聯表(activity_sku)
- 1.3.4 平臺屬性表(base_attr_info)
- 1.3.5 平臺屬性值表(base_attr_value)
- 1.3.6 商品一級分類表(base_category1)
- 1.3.7 二級分類表(base_category2)
- 1.3.8 三級分類表(base_category3)
- 1.3.9 字典表(base_dic)
- 1.3.10 省份表(base_province)
- 1.3.11 地區表(base_region)
- 1.3.12 品牌表(base_trademark)
- 1.3.13 購物車表(cart_info)
- 1.3.14 評價表(comment_info)
- 1.3.15 優惠券信息表(coupon_info)
- 1.3.16 優惠券優惠范圍表(coupon_range)
- 1.3.17 優惠券領用表(coupon_use)
- 1.3.18 收藏表(favor_info)
- 1.3.19 訂單明細表(order_detail)
- 1.3.20 訂單明細活動關聯表(order_detail_activity)
- 1.3.21 訂單明細優惠券關聯表(order_detail_coupon)
- 1.3.22 訂單表(order_info)
- 1.3.23 退單表(order_refund_info)
- 1.3.24 訂單狀態流水表(order_status_log)
- 1.3.25 支付表(payment_info)
- 1.3.26 退款表(refund_payment)
- 1.3.27 SKU平臺屬性表(sku_attr_info)
- 1.3.28 SKU信息表(sku_info)
- 1.3.29 SKU銷售屬性表(sku_sale_attr_value)
- 1.3.30 SPU信息表(spu_info)
- 1.3.31 SPU銷售屬性表(spu_sale_attr)
- 1.3.32 SPU銷售屬性值表(spu_sale_attr_value)
- 1.3.33 用戶地址表(user_address)
- 1.3.34 用戶信息表(user_info)
- 二、業務數據采集模塊
- 2.1 MySQL安裝
- 2.1.1 安裝MySQL
- 2.1.2 配置MySQL
- 2.2 業務數據生成
- 2.2.1 連接MySQL
- 2.2.2 建表語句
- 2.2.3 生成業務數據
- 2.3 Sqoop安裝
- 2.3.1 下載并解壓
- 2.3.2 修改配置文件
- 2.3.3 拷貝JDBC驅動
- 2.3.4 驗證Sqoop
- 2.3.5 測試Sqoop是否能夠成功連接數據庫
- 2.3.6 Sqoop基本使用
- 2.4 同步策略
- 2.4.1 全量同步策略
- 2.4.2 增量同步策略
- 2.4.3 新增及變化策略
- 2.4.4 特殊策略
- 2.5 業務數據導入 HDFS
- 2.5.1 分析表同步策略
- 2.5.2 業務數據首日同步腳本
- 2.5.3 業務數據每日同步腳本
- 2.5.4 項目經驗
- 三、數據環境準備
- 3.1 Hive安裝部署
- 3.2 Hive原數據配置到MySQL
- 3.2.1 拷貝驅動
- 3.2.2 配置Metastore到MySQL
- 3.3 啟動Hive
- 3.3.1 初始化元數據庫
- 3.3.2 啟動Hive客戶端
-----------------------------------------------------分隔符-----------------------------------------------------
數據倉庫之電商數倉-- 1、用戶行為數據采集==>
數據倉庫之電商數倉-- 2、業務數據采集平臺==>
數據倉庫之電商數倉-- 3.1、電商數據倉庫系統(DIM層、ODS層、DWD層)==>
數據倉庫之電商數倉-- 3.2、電商數據倉庫系統(DWS層)==>
數據倉庫之電商數倉-- 3.3、電商數據倉庫系統(DWT層)==>
數據倉庫之電商數倉-- 3.4、電商數據倉庫系統(ADS層)==>
數據倉庫之電商數倉-- 4、可視化報表Superset==>
數據倉庫之電商數倉-- 5、即席查詢Kylin==>
一、電商業務簡介
1.1 電商業務流程
電商的業務流程可以以一個普通用戶的瀏覽足跡為例進行說明，用戶點開電商首頁開始瀏覽，可能會通過分類查詢也可能通過全文搜索尋找自己中意的商品，這些商品無疑都是存儲在后臺的管理系統中的。
當用戶尋找到自己中意的商品，可能會想要購買，將商品添加到購物車后發現需要登錄， 登錄后對商品進行結算，這時候購物車的管理和商品訂單信息的生成都會對業務數據庫產生影響，會生成相應的訂單數據和支付數據。
訂單正式生成之后，還會對訂單進行跟蹤處理，直到訂單全部完成。
電商的主要業務流程包括用戶前臺瀏覽商品時的商品詳情的管理，用戶商品加入購物車進行支付時用戶個人中心&支付服務的管理，用戶支付完成后訂單后臺服務的管理，這些流程涉及到了十幾個甚至幾十個業務數據表，甚至更多。
1.2 電商常識(SKU、SPU)
SKU=StockKeepingUni(t 庫存量基本單位) ： 現在已經被引申為產品統一編號的簡稱， 每種產品均對應有唯一的 SKU 號。
SPU(Standard Product Unit): 是商品信息聚合的最小單位，是一組可復用、易檢索的 標準化信息集合。
例如:iPhoneX 手機就是 SPU。一臺銀色、128G 內存的、支持聯通網絡的 iPhoneX，就 是 SKU。
tips：
簡單來說，SKU、SPU都是指一類產品；SPU表示商品名稱、型號相同的一類商品；SKU是指商品名稱、型號、各個參數屬性也相同的一類商品。
SPU 表示一類商品。好處就是:可以共用商品圖片，海報、銷售屬性等。
1.3 電商系統表結構
本電商數倉系統涉及到的業務數據表結構關系共 34 個表，以訂單表、用戶表、SKU 商品表、活動表和優惠券表為中心，延伸出了優惠券領用表、支付流水表、活動訂單表、訂單 詳情表、訂單狀態表、商品評論表、編碼字典表退單表、SPU 商品表等，用戶表提供用戶的詳細信息，支付流水表提供該訂單的支付詳情，訂單詳情表提供訂單的商品數量等情況，商品表給訂單詳情表提供商品的詳細信息。
電商業務表
后臺管理系統
1.3.1 活動信息表(activity_info)
1.3.2 活動規則表(activity_rule)
1.3.3 活動商品關聯表(activity_sku)
1.3.4 平臺屬性表(base_attr_info)
1.3.5 平臺屬性值表(base_attr_value)
1.3.6 商品一級分類表(base_category1)
1.3.7 二級分類表(base_category2)
1.3.8 三級分類表(base_category3)
1.3.9 字典表(base_dic)
1.3.10 省份表(base_province)
1.3.11 地區表(base_region)
1.3.12 品牌表(base_trademark)
1.3.13 購物車表(cart_info)
1.3.14 評價表(comment_info)
1.3.15 優惠券信息表(coupon_info)
1.3.16 優惠券優惠范圍表(coupon_range)
1.3.17 優惠券領用表(coupon_use)
1.3.18 收藏表(favor_info)
1.3.19 訂單明細表(order_detail)
1.3.20 訂單明細活動關聯表(order_detail_activity)
1.3.21 訂單明細優惠券關聯表(order_detail_coupon)
1.3.22 訂單表(order_info)
1.3.23 退單表(order_refund_info)
1.3.24 訂單狀態流水表(order_status_log)
1.3.25 支付表(payment_info)
1.3.26 退款表(refund_payment)
1.3.27 SKU平臺屬性表(sku_attr_info)
1.3.28 SKU信息表(sku_info)
1.3.29 SKU銷售屬性表(sku_sale_attr_value)
1.3.30 SPU信息表(spu_info)
1.3.31 SPU銷售屬性表(spu_sale_attr)
1.3.32 SPU銷售屬性值表(spu_sale_attr_value)
1.3.33 用戶地址表(user_address)
1.3.34 用戶信息表(user_info)
二、業務數據采集模塊
2.1 MySQL安裝
2.1.1 安裝MySQL
tips: 查詢自帶的rpm包 -i忽略大小寫 -E正則表達式查詢 mysql/mariadb; xargs=-n1 表示將上一個命令的輸出作為下一個命令sudo rpm -e --nodeps的輸入。
若是遇到一些很難刪除掉的MySQL戳這里==>
注??：
若是報以下錯誤，是由于yum安裝了舊版本的GPG keys造成的，從rpm版本4.1后，在安裝或升級軟件包時會自動檢查軟件包的簽名。
解決方法： 在安裝包命令后加上--force --nodeps：
2.1.2 配置MySQL
注??：
配置只要是root用戶 + 密碼，在任何主機上都可以登錄MySQL數據庫。
使用此方法進不去mysql，提示ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost錯誤的請戳這里==>
2.2 業務數據生成
2.2.1 連接MySQL
通過Navicat Premium連接MySQL數據庫，可先點擊連接測試進行測試：
2.2.2 建表語句
通過 Navicat 創建數據庫 gmall；
如圖，設置數據庫編碼: 默認字符集設為utf8，默認排序規則設為utf8_general_ci：
導入數據庫結構腳本(gmall.sql)：打開數據庫–>運行sql文件–>gmall.sql–>開始：
注??：編碼選擇utf-8；
如圖，右鍵點擊‘表’ 進行‘刷新’即可看見數據庫中的表：
2.2.3 生成業務數據
將業務數據生成器以及配置文件 gmall2020-mock-db-2021-01-22.jar 、application.properties 上傳到 hadoop102 的 /opt/module/db_log 路徑上；
根據需求修改 application.properties 相關配置：
2.3 Sqoop安裝
2.3.1 下載并解壓
2.3.2 修改配置文件
增加如下內容：
export HADOOP_COMMON_HOME=/opt/module/hadoop-3.2.2 export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.2.2 export HIVE_HOME=/opt/module/hive export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7 export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf2.3.3 拷貝JDBC驅動
將原先上傳到/opt/software/mysql路徑下的JDBC驅動mysql-connector-java-5.1.27-bin.jar拷貝到/opt/module/sqoop/lib/路徑下：
[xiaobai@hadoop102 conf]$ cp /opt/software/mysql/mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/2.3.4 驗證Sqoop
可通過一些command來驗證sqoop配置是否正確，如：
[xiaobai@hadoop102 sqoop]$ bin/sqoop help如圖，會出現一些warning警告和help命令的輸出：
2.3.5 測試Sqoop是否能夠成功連接數據庫
在sqoop根目錄下使用以下命令測試sqoop是否可以正確連接數據庫：
[xiaobai@hadoop102 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password ******2.3.6 Sqoop基本使用
將mysql中sku_info表數據導入到HDSF的路徑下：
[xiaobai@hadoop102 sqoop]$ bin/sqoop import \ > --connect jdbc:mysql://hadoop102:3306/gmall \ > --username root \ > --password mysql123 \ > --table sku_info \ > --columns id,sku_name \ > --where 'id>=1 and id<=20' \ > --target-dir /sku_info \ > --delete-target-dir \ > --fields-terminated-by '\t' \ > --num-mappers 2 \ > --split-by id注??：因為sqoop的mapreduce只有map，無reduce，所以最終輸出的文件個數就是map的個數。
2.4 同步策略
數據同步策略的類型包括: 全量同步、增量同步、新增及變化同步、特殊情況 ；
全量表: 存儲完整的數據。
增量表: 存儲新增加的數據。
新增及變化表: 存儲新增加的數據和變化的數據。
特殊表: 只需要存儲一次。
2.4.1 全量同步策略
每日全量：就是每天存儲一份完整數據，作為一個分區。
適用場景： 適用于表數據量不大，且每天既會有新數據插入，也會有舊數據的修改的場景。
例如:編碼字典表、品牌表、商品三級分類、商品二級分類、商品一級分類、優惠規則表、活動表、活動參與商品表、加購表、商品收藏表、優惠卷表、SKU 商品表、SPU商品表。
2.4.2 增量同步策略
每日增量： 就是每天存儲一份增量數據，作為一個分區。
適用場景： 適用于表數據量大，且每天只會有新數據插入的場景。
例如:退單表、訂單狀 態表、支付流水表、訂單詳情表、活動與訂單關聯表、商品評論表。
2.4.3 新增及變化策略
每日新增及變化： 就是存儲創建時間和操作時間都是今天的數據。
適用場景： 表的數據量大，既會有新增，又會有變化。
例如:用戶表、訂單表、優惠卷領用表。
2.4.4 特殊策略
特殊策略： 某些特殊的維度表，可不必遵循上述同步策略。
2.5 業務數據導入 HDFS
2.5.1 分析表同步策略
在生產環境，個別小公司，為了簡單處理，所有表全量導入。
中大型公司，由于數據量比較大，還是嚴格按照同步策略導入數據。
分析表同步策略：
2.5.2 業務數據首日同步腳本
在腳本里增加以下內容：
#! /bin/bashAPP=gmall sqoop=/opt/module/sqoop/bin/sqoopif [ -n "$2" ] ;thendo_date=$2 else echo "請傳入日期參數"exit fi import_data(){ $sqoop import \ --connect jdbc:mysql://hadoop102:3306/$APP \ --username root \ --password ****** \ --target-dir /origin_data/$APP/db/$1/$do_date \ --delete-target-dir \ --query "$2 where \$CONDITIONS" \ --num-mappers 1 \ --fields-terminated-by '\t' \ --compress \ --compression-codec lzop \ --null-string '\\N' \ --null-non-string '\\N'hadoop jar /opt/module/hadoop-3.2.2/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date }import_order_info(){import_data order_info "selectid, total_amount, order_status, user_id, payment_way,delivery_address,out_trade_no, create_time, operate_time,expire_time,tracking_no,province_id,activity_reduce_amount,coupon_reduce_amount, original_total_amount,feight_fee,feight_fee_reduce from order_info" }import_coupon_use(){import_data coupon_use "selectid,coupon_id,user_id,order_id,coupon_status,get_time,using_time,used_time,expire_timefrom coupon_use" }import_order_status_log(){import_data order_status_log "selectid,order_id,order_status,operate_timefrom order_status_log" }import_user_info(){import_data "user_info" "select id,login_name,nick_name,name,phone_num,email,user_level, birthday,gender,create_time,operate_timefrom user_info" }import_order_detail(){import_data order_detail "select id,order_id, sku_id,sku_name,order_price,sku_num, create_time,source_type,source_id,split_total_amount,split_activity_amount,split_coupon_amountfrom order_detail" }import_payment_info(){import_data "payment_info" "select id, out_trade_no, order_id, user_id, payment_type, trade_no, total_amount, subject, payment_status,create_time,callback_time from payment_info" }import_comment_info(){import_data comment_info "selectid,user_id,sku_id,spu_id,order_id,appraise,create_timefrom comment_info" }import_order_refund_info(){import_data order_refund_info "selectid,user_id,order_id,sku_id,refund_type,refund_num, refund_amount,refund_reason_type,refund_status,create_timefrom order_refund_info" }import_sku_info(){import_data sku_info "select id,spu_id,price,sku_name,sku_desc,weight,tm_id,category3_id,is_sale,create_timefrom sku_info" }import_base_category1(){import_data "base_category1" "select id,name from base_category1" }import_base_category2(){import_data "base_category2" "selectid,name,category1_id from base_category2" }import_base_category3(){import_data "base_category3" "selectid,name,category2_idfrom base_category3" }import_base_province(){import_data base_province "selectid,name,region_id,area_code,iso_code,iso_3166_2from base_province" }import_base_region(){import_data base_region "select id,region_namefrom base_region" }import_base_trademark(){import_data base_trademark "selectid,tm_namefrom base_trademark" }import_spu_info(){import_data spu_info "selectid,spu_name,category3_id,tm_idfrom spu_info" }import_favor_info(){import_data favor_info "selectid,user_id,sku_id,spu_id,is_cancel,create_time,cancel_timefrom favor_info" }import_cart_info(){import_data cart_info "selectid,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time,source_type,source_idfrom cart_info" }import_coupon_info(){import_data coupon_info "selectid,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,limit_num,taken_count,start_time,end_time,operate_time,expire_timefrom coupon_info" }import_activity_info(){import_data activity_info "selectid,activity_name,activity_type,start_time,end_time,create_timefrom activity_info" }import_activity_rule(){import_data activity_rule "selectid,activity_id,activity_type,condition_amount,condition_num,benefit_amount,benefit_discount,benefit_levelfrom activity_rule" }import_base_dic(){import_data base_dic "selectdic_code,dic_name,parent_code,create_time,operate_timefrom base_dic" }import_order_detail_activity(){import_data order_detail_activity "selectid,order_id,order_detail_id,activity_id,activity_rule_id,sku_id,create_timefrom order_detail_activity" }import_order_detail_coupon(){import_data order_detail_coupon "selectid,order_id,order_detail_id,coupon_id,coupon_use_id,sku_id,create_timefrom order_detail_coupon" }import_refund_payment(){import_data refund_payment "selectid,out_trade_no,order_id,sku_id,payment_type,trade_no,total_amount,subject,refund_status,create_time,callback_timefrom refund_payment" }import_sku_attr_value(){import_data sku_attr_value "selectid,attr_id,value_id,sku_id,attr_name,value_namefrom sku_attr_value" }import_sku_sale_attr_value(){import_data sku_sale_attr_value "selectid,sku_id,spu_id,sale_attr_value_id,sale_attr_id,sale_attr_name,sale_attr_value_namefrom sku_sale_attr_value" }case $1 in"order_info")import_order_info ;;"base_category1")import_base_category1 ;;"base_category2")import_base_category2 ;;"base_category3")import_base_category3 ;;"order_detail")import_order_detail ;;"sku_info")import_sku_info ;;"user_info")import_user_info ;;"payment_info")import_payment_info ;;"base_province")import_base_province ;;"base_region")import_base_region ;;"base_trademark")import_base_trademark ;;"activity_info")import_activity_info ;;"cart_info")import_cart_info ;;"comment_info")import_comment_info ;;"coupon_info")import_coupon_info ;;"coupon_use")import_coupon_use ;;"favor_info")import_favor_info ;;"order_refund_info")import_order_refund_info ;;"order_status_log")import_order_status_log ;;"spu_info")import_spu_info ;;"activity_rule")import_activity_rule ;;"base_dic")import_base_dic ;;"order_detail_activity")import_order_detail_activity ;;"order_detail_coupon")import_order_detail_coupon ;;"refund_payment")import_refund_payment ;;"sku_attr_value")import_sku_attr_value ;;"sku_sale_attr_value")import_sku_sale_attr_value ;;"all")import_base_category1import_base_category2import_base_category3 import_order_infoimport_order_detailimport_sku_infoimport_user_infoimport_payment_infoimport_base_regionimport_base_provinceimport_base_trademarkimport_activity_infoimport_cart_infoimport_comment_infoimport_coupon_useimport_coupon_infoimport_favor_infoimport_order_refund_infoimport_order_status_logimport_spu_infoimport_activity_ruleimport_base_dicimport_order_detail_activityimport_order_detail_couponimport_refund_paymentimport_sku_attr_valueimport_sku_sale_attr_value ;; esac2.5.3 業務數據每日同步腳本
在腳本里添加以下內容：
輸出以下內容表示命令執行完成！
上述命令執行完成后，如圖，打開http://hadoop102:9870/即可查看到我們所同步到hdfs上的數據：
注??：
[ -n 變量值 ] 判斷變量的值是否為空：
– 變量的值，非空，返回true；
– 變量的值，為空，返回false。
查看date命令的使用，[xiaobai@hadoop102 ~]$ date --help
=后面的命令?`` 的作用是的作用就是把=后面date -d -1 day' +%F的結果賦給前面的變量do_date！
若不?`` ，則會將=后面的命令當作一個字符串賦值直接給前面的變量do_date，不是我們想要的結果。
2.5.4 項目經驗
Hive中的Null在底層是以“\N”來存儲，而MySQL中的Null在底層就是Null，為了保證數據兩端的一致性。在導出數據時采用–input-null-string和–input-null-non-string兩個參數。導入數據時采用–null-string和–null-non-string。
三、數據環境準備
3.1 Hive安裝部署
如圖，添加以下內容：
#HIVE_HOME export HIVE_HOME=/opt/module/hive export PATH=$PATH:$HIVE_HOME/bin!3.2 Hive原數據配置到MySQL
3.2.1 拷貝驅動
將MySQL的JDBC驅動拷貝到Hive的lib目錄下:
[xiaobai@hadoop102 module]$ cp /opt/software/mysql/mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/3.2.2 配置Metastore到MySQL
在/opt/module/hive/conf/目錄下新建hive-site.xml文件:
[xiaobai@hadoop102 conf]$ vim hive-site.xml添加以下內容：
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>******</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>hive.server2.thrift.port</name><value>10000</value></property><property><name>hive.server2.thrift.bind.host</name><value>hadoop102</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><property><name>hive.cli.print.header</name><value>true</value></property><property><name>hive.cli.print.current.db</name><value>true</value></property> </configuration>3.3 啟動Hive
3.3.1 初始化元數據庫
提示以下信息表示初始化完成！
0: jdbc:mysql://hadoop102:3306/metastore> !closeall Closing: 0: jdbc:mysql://hadoop102:3306/metastore?useSSL=false beeline> beeline> Initialization script completed schemaTool completed3.3.2 啟動Hive客戶端
總結
以上是生活随笔為你收集整理的数据仓库之电商数仓-- 2、业务数据采集平台的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： oracle 定时任务 job 调用存储
- 下一篇： Linq语言集成查询