文章目錄

客快物流大數(shù)據(jù)項(xiàng)目學(xué)習(xí)框架

前言

一、項(xiàng)目簡(jiǎn)介

二、功能介紹

三、項(xiàng)目背景

四、服務(wù)器資源規(guī)劃

五、技術(shù)亮點(diǎn)及價(jià)值

六、智慧物流大數(shù)據(jù)平臺(tái)

---

客快物流大數(shù)據(jù)項(xiàng)目學(xué)習(xí)框架

前言

利用框架的力量，看懂游戲規(guī)則，才是入行的前提

大多數(shù)人不懂，不會(huì)，不做，才是你的機(jī)會(huì)，你得行動(dòng)，不能畏首畏尾

選擇才是拉差距關(guān)鍵，風(fēng)向，比你流的汗水重要一萬倍，逆風(fēng)劃船要累死人的

---

上面這些看似沒用，但實(shí)際很重要，這里我就不再具體說明，感興趣的同學(xué)可以看看我的大數(shù)據(jù)學(xué)習(xí)探討話題：?

學(xué)習(xí)框架的重要性

我是怎么堅(jiān)持學(xué)習(xí)的

怎么確定學(xué)習(xí)目標(biāo)

這個(gè)欄目為缺少項(xiàng)目的同學(xué)全面整理的客快物流大數(shù)據(jù)項(xiàng)目邏輯，內(nèi)容是按基礎(chǔ)環(huán)境搭建到項(xiàng)目架構(gòu)設(shè)計(jì)，帶你從基礎(chǔ)到架構(gòu)實(shí)戰(zhàn)，想學(xué)會(huì)就得自律加堅(jiān)持，趕快行動(dòng)吧。

一、項(xiàng)目簡(jiǎn)介

本項(xiàng)目基于大型物流公司研發(fā)的智慧物流大數(shù)據(jù)平臺(tái)，該物流公司是國(guó)內(nèi)綜合性快遞、物流服務(wù)商，并在全國(guó)各地都有覆蓋的網(wǎng)點(diǎn)。經(jīng)過多年的積累、經(jīng)營(yíng)以及布局，擁有大規(guī)模的客戶群，日訂單達(dá)上千萬，如此規(guī)模的業(yè)務(wù)數(shù)據(jù)量，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)不能滿足企業(yè)的經(jīng)營(yíng)分析需求。該公司需要基于大數(shù)據(jù)技術(shù)構(gòu)建數(shù)據(jù)中心，從而挖掘出隱藏在數(shù)據(jù)背后的信息價(jià)值，為企業(yè)提供有益的幫助，帶來更大的利潤(rùn)和商機(jī)

? ? 該大數(shù)據(jù)項(xiàng)目主要圍繞訂單、運(yùn)輸、倉(cāng)儲(chǔ)、搬運(yùn)裝卸、包裝以及流通加工等物流環(huán)節(jié)中涉及的數(shù)據(jù)、信息等。通過大數(shù)據(jù)分析可以提高運(yùn)輸以及配送效率、減少物流成本、更有效地滿足客戶服務(wù)要求，實(shí)現(xiàn)快速、高效、經(jīng)濟(jì)的物流，并針對(duì)數(shù)據(jù)分析結(jié)果，提出具有中觀指導(dǎo)意義的解決方案

? ? 物流大數(shù)據(jù)可以根據(jù)市場(chǎng)進(jìn)行數(shù)據(jù)分析，提高運(yùn)營(yíng)管理效率，合理規(guī)劃分配資源，調(diào)整業(yè)務(wù)結(jié)構(gòu)，確保每個(gè)業(yè)務(wù)均可盈利。根據(jù)數(shù)據(jù)分析結(jié)果，規(guī)劃、預(yù)計(jì)運(yùn)輸路線和配送路線，緩解運(yùn)輸高峰期的物流行為，提高客戶的滿意度，提高客戶粘度。

二、功能介紹

• 業(yè)務(wù)系統(tǒng)數(shù)據(jù)主要存放到Oracle和Mysql數(shù)據(jù)庫(kù)中，比如CRM系統(tǒng)數(shù)據(jù)在Mysql，OMS系統(tǒng)數(shù)據(jù)存放在Oracle中?
• OGG增量同步Oracle數(shù)據(jù)庫(kù)的數(shù)據(jù)，Canal增量同步Mysql數(shù)據(jù)庫(kù)的數(shù)據(jù)
• OGG及Canal增量抽取的數(shù)據(jù)會(huì)寫入到Kafka集群，供實(shí)時(shí)分析計(jì)算程序消費(fèi)
• 實(shí)時(shí)分析計(jì)算程序消費(fèi)kafka的數(shù)據(jù)，將消費(fèi)出來的數(shù)據(jù)進(jìn)行ETL操作
• 為了方便業(yè)務(wù)部門對(duì)各類單據(jù)的查詢，StructureStreaming流式處理系統(tǒng)將數(shù)據(jù)經(jīng)過JOIN處理后，將數(shù)據(jù)寫入到Elastic Search中
• StructureStreaming流處理會(huì)將數(shù)據(jù)寫入到ClickHouse，Java Web后端直接將數(shù)據(jù)查詢出來進(jìn)行展示
• StructureStreaming將實(shí)時(shí)ETL處理后的數(shù)據(jù)同步更新到Kudu中，方便進(jìn)行數(shù)據(jù)的準(zhǔn)實(shí)時(shí)分析、查詢。Impala對(duì)kudu數(shù)據(jù)進(jìn)行分析查詢
• 前端應(yīng)用對(duì)數(shù)據(jù)進(jìn)行可視化展示

三、項(xiàng)目背景

本項(xiàng)目基于一家大型物流公司研發(fā)的智慧物流大數(shù)據(jù)平臺(tái)。該物流公司是國(guó)內(nèi)綜合性快遞、物流服務(wù)商，并在全國(guó)各地都有覆蓋的網(wǎng)點(diǎn)。經(jīng)過多年的積累、經(jīng)營(yíng)以及布局，擁有大規(guī)模的客戶群，日訂單達(dá)上千萬。以下列舉了國(guó)內(nèi)的幾家物流公司某個(gè)月份的數(shù)據(jù)：

?如此規(guī)模的業(yè)務(wù)數(shù)據(jù)量，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)不能滿足企業(yè)的經(jīng)營(yíng)分析需求。該公司需要基于大數(shù)據(jù)技術(shù)構(gòu)建數(shù)據(jù)中心，從而挖掘出隱藏在數(shù)據(jù)背后的信息價(jià)值，為企業(yè)提供有益的幫助，帶來更大的利潤(rùn)和商機(jī)。而自2012年，國(guó)家已陸續(xù)出臺(tái)相關(guān)的產(chǎn)業(yè)規(guī)劃和政策，也從側(cè)面推動(dòng)了大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。

該大數(shù)據(jù)項(xiàng)目主要圍繞訂單、運(yùn)輸、倉(cāng)儲(chǔ)、搬運(yùn)裝卸、包裝以及流通加工等物流環(huán)節(jié)中涉及的數(shù)據(jù)、信息等。通過大數(shù)據(jù)分析可以提高運(yùn)輸以及配送效率、減少物流成本、更有效地滿足客戶服務(wù)要求，實(shí)現(xiàn)快速、高效、經(jīng)濟(jì)的物流，并針對(duì)數(shù)據(jù)分析結(jié)果，提出具有中觀指導(dǎo)意義的解決方案。

物流大數(shù)據(jù)可以根據(jù)市場(chǎng)進(jìn)行數(shù)據(jù)分析，提高運(yùn)營(yíng)管理效率，合理規(guī)劃分配資源，調(diào)整業(yè)務(wù)結(jié)構(gòu)，確保每個(gè)業(yè)務(wù)均可盈利。根據(jù)數(shù)據(jù)分析結(jié)果，規(guī)劃、預(yù)計(jì)運(yùn)輸路線和配送路線，環(huán)節(jié)運(yùn)輸高峰期的物流行為，提高客戶的滿意度，提高客戶粘度。

四、服務(wù)器資源規(guī)劃

因服務(wù)器資源有限，該項(xiàng)目采用兩臺(tái)服務(wù)器進(jìn)行演示，每臺(tái)服務(wù)器配置如下：

用途	主機(jī)名	操作系統(tǒng)/版本	IP	內(nèi)存	硬盤
業(yè)務(wù)系統(tǒng)服務(wù)器	node1	Centos/7.5.1804	192.168.88.10	3GB	40G
大數(shù)據(jù)服務(wù)器	node2	Centos/7.5.1804	192.168.88.20	12GB	60G

使用到的軟件信息：

服務(wù)器	node1	node2
Docker	√
Oracle（11g）	√
OGG	√
MySql 5.7	√
Canal	√
Hadoop		√
Spark		√
Kafka		√
ClickHouse		√
ElasticSearch		√
Kudu		√
Azkaban		√
Impala		√
HUE		√

五、技術(shù)亮點(diǎn)及價(jià)值

• 基于Docker搭建異構(gòu)數(shù)據(jù)源，還原企業(yè)真實(shí)應(yīng)用場(chǎng)景
• 以企業(yè)主流的Spark生態(tài)圈為核心技術(shù)，例如：Structure Streaming
• Azkaban定時(shí)調(diào)度主題及指標(biāo)統(tǒng)計(jì)作業(yè)
• Kudu + Impala準(zhǔn)實(shí)時(shí)分析系統(tǒng)
• 使用HUE集成Impala進(jìn)行數(shù)據(jù)即席查詢
• ClickHouse實(shí)時(shí)存儲(chǔ)、計(jì)算引擎
• 自定義數(shù)據(jù)源實(shí)現(xiàn)Spark與Clickhouse的整合
• ELK全文檢索
• Spring Cloud搭建數(shù)據(jù)服務(wù)
• 存儲(chǔ)、計(jì)算性能調(diào)優(yōu)

六、智慧物流大數(shù)據(jù)平臺(tái)

---

• 📢博客主頁：https://lansonli.blog.csdn.net
• 📢歡迎點(diǎn)贊 👍 收藏 ?留言 📝 如有錯(cuò)誤敬請(qǐng)指正！
• 📢本文由 Lansonli 原創(chuàng)，首發(fā)于 CSDN博客🙉
• 📢停下休息的時(shí)候不要忘了別人還在奔跑，希望大家抓緊時(shí)間學(xué)習(xí)，全力奔赴更美好的生活?

總結(jié)

以上是生活随笔為你收集整理的客快物流大数据项目学习框架的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。