车联网项目学习笔记
學習目標:
了解車聯(lián)網(wǎng)大數(shù)據(jù)行業(yè)
了解車聯(lián)網(wǎng)項目系統(tǒng)架構
理解車聯(lián)網(wǎng)數(shù)據(jù)量計算方法
掌握json數(shù)據(jù)解析
掌握復雜json解析方法
能掌握的技能:
1 車聯(lián)網(wǎng)領域大數(shù)據(jù)系統(tǒng)設計與開發(fā)
2 車聯(lián)網(wǎng)業(yè)務類型與指標設計
3 實時數(shù)據(jù)ETL開發(fā)
4 實時數(shù)據(jù)分析
5 實現(xiàn)Flink結合業(yè)務主題解決方案
6 離線數(shù)據(jù)倉庫設計、使用場景、技術棧
7 掌握數(shù)據(jù)服務接口開發(fā)
8 掌握數(shù)據(jù)報表和數(shù)據(jù)可視化
9 使用Flink以及關聯(lián)技術棧解決車聯(lián)網(wǎng)領域復雜業(yè)務
實時數(shù)據(jù)分析:
| Flink | 流批一體計算引擎 |
| Kafka | 高吞吐量的消息中間件 |
| Hbase | 海量列式存儲數(shù)據(jù)庫 |
| Phoenix | 為基于Hadoop的OLTP和操作分析提供低延時 |
| Mysql | 最流行的關系型數(shù)據(jù)庫管理系統(tǒng) |
| Hadoop | 大數(shù)據(jù)計算、存儲、資源管理引擎 |
| Hive | 管理分布式存儲中大型數(shù)據(jù)集 |
| Zeppelin | 數(shù)據(jù)驅動交互式數(shù)據(jù)分析 |
| Superset | 清晰美觀的報表開發(fā)技術 |
車聯(lián)網(wǎng)項目整體架構:
車聯(lián)網(wǎng)項目整體架構
Flink+Kafka 是目前完美的分布式計算解決方案,Kafka提供了一個高吞吐量、高可靠性、持久 性高、以及多樣化的消費處理模型,可以用來解決百萬級別的數(shù)據(jù)中生產(chǎn)者和消費者之間數(shù)據(jù)傳輸 的問題,Flink提供分布式實時計算能力海量數(shù)據(jù)存儲
HBase:一個開源的非關系型分布式數(shù)據(jù)庫,它參考了谷歌的BigTable建模,實現(xiàn)的編程語言為Java。
它是Apache軟件基金會的Hadoop項目的一部分,運行于HDFS文件系統(tǒng)之上,為 Hadoop 提供
類似于BigTable 規(guī)模的服務
Phoenix:一個開源的HBASE SQL層。它不僅可以使用標準的JDBC API替代HBASE client API創(chuàng)建
表,插入和查詢HBASE,也支持二級索引、事物以及多種SQL層優(yōu)化。
總結
- 上一篇: 免费下载思科CCNP 642-861考试
- 下一篇: 黑苹果安装的驱动含义