车纷享：基于阿里云HBase构建车联网平台实践
摘要： 1. 業務介紹 車紛享是國內首家進行汽車共享開發和運營的公司。旗下共享汽車平臺采用新能源汽車作為運營工具以B2C+C2C汽車共享作為商業運營模式采用車聯網技術作為運營管理技術目前已與國內多個城市建立合作。
1. 業務介紹
車紛享是國內首家進行汽車共享開發和運營的公司。旗下共享汽車平臺采用新能源汽車作為運營工具，以B2C+C2C汽車共享作為商業運營模式，采用車聯網技術作為運營管理技術，目前已與國內多個城市建立合作。
公司打造會員制的分時自助租賃平臺“車紛享”與“眾車紛享”，以及純電動新能源汽車分時租賃平臺“彩虹車”，向會員提供以分鐘加里程為計費單位的自助租車服務。通過公司自助租車系統，用戶可以進行車輛預定、費用支付、自助取車、還車及自動結算等，無需人工干預，非常簡單，真正實現了家門口或公司門口的自助租車，便捷、時尚、經濟。 公司汽車共享（分時自助、智能租車）系統為自主研發，具有完全自主知識產權，能夠根據需求進行改進和定制，是國內第一個成功商業運營的汽車共享系統，處于國內領先。
2. 選型
對于車紛享這種初創公司來說，技術選型首要考慮的是：輕運維，業務快速落地。自建機房以及運維團隊意味著前期較大的投入以及高昂的運維成本，隨著業務規模的擴張，資源水平擴展以及垂直擴展也是未來無法避免的痛點。
技術團隊進行了多次內部討論，同時對類似行業公司的解決方案進行了詳細調研，新方案必須滿足我們以下的基本需求：
（1）支持大量IoT數據的不間斷寫入，至少能存放百T以內的數據，隨著數據規模的增長，能夠方便的進行垂直和水平擴展。
（2）支持基于時間戳的歷史數據查詢，響應時間至少達到秒級，后期根據業務需要，支持對一些關鍵字段進行索引，以滿足某些查詢場景
（3）與目前的大數據生態產品(MapReduce，Spark，Hive)能友好兼容，支持離線和準實時OLAP
（4）優先選擇有雄厚實力的商業公司支持的云平臺，最大限度減少運維成本。
最終我們技術團隊選擇的是阿里云平臺，阿里是國內大數據領域技術最雄厚的公司，比如HBase，阿里擁有2 HBase PMC、3 Committer、數十位內核貢獻者，貢獻200+ Patch，同時阿里云平臺提供了多種方便易上手的數據產品工具。
3. 車紛享數據中心
車紛享的數據來自于車載終端上傳的數據報文，首先經過系統平臺的網關，然后借助規則引擎對數據報文進行解析拆分成有意義的數據項，以數據記錄的方式放入消息隊列，消息隊列采用了阿里的MQ，消息隊列的消費程序，會將消費到的數據分別存入Redis以及HBase,其中Redis是用來提供車輛實時狀態的查詢，HBase提供車輛歷史數據的查詢,為了對歷史數據進行災備處理，使用了阿里云的OSS存儲，將備份數據日志文件按照時間分區存儲至OSS。
3.1 項目背景
車聯網符合并發量大，數據上傳頻率高，寫多讀少的高吞吐型業務場景，對查詢要求也接近準實時;原有的關系數據庫已經不能滿足我們的業務需要，尤其數億量級下的分頁查詢和車輛歷史軌跡查詢的場景下，關系數據庫的讀取相應延遲已經達到了數分鐘級，完全不能滿足客戶的需要。阿里云HBase為我們提供了HBase+Phoenix的組合方案。
HBase是基于磁盤的NoSql數據庫，因為采用了LSM的數據結構，隨機寫效率較高，特別適合車聯網的數據上傳特點，在基于Rowkey方面的查詢延時接近準實時。但是因為原生HBase的查詢方式比較底層，沒有SQL查詢接口，對于使用者要求較高,而且沒有二級索引，如果不是基于Rowkey查詢，查詢效率會急劇下降，為了減少客戶的使用難度，阿里云HBase團隊在HBase集群里集成了Phoenix的交互引擎，簡單的嵌入架構如下：
Phoenix的架構
3.2 性能指標
1、系統情況
目前測試集群上有6臺服務器，都是16Core 32G的配置
2、查詢測試
歷史數據表(保密需要，字段適當裁剪)：
create table if not exists 車輛歷史數據表 (
車輛標識 varchar not null,
上傳時間 bigint not null,
行駛里程 float,
發動機溫度 float,
車速 float,
發動機轉速 float,
油耗 float,
續航里程 float,
電量 float,
充電狀態 integer,
衛星數量 integer,
衛星信號強度 integer,
衛星信號 integer,
網絡信號強度 integer,
經度 double,
緯度 double,
方向角度 float,
循環模式 integer,
風扇模式 integer,
省電模式 integer,
開關門狀態 integer,
發動機狀態 integer,
鑰匙狀態 integer,
燈光狀態 integer,
門鎖狀態 integer,
網絡狀態 varchar,
檔位 integer
CONSTRAINT my_pk PRIMARY KEY (車輛標識,上傳時間 ROW_TIMESTAMP))
COMPRESSION=’SNAPPY’,DATA_BLOCK_ENCODING=’FAST_DIFF’,SALT_BUCKETS=20;
3、建立索引表
create index 車輛歷史狀態索引表 on 車輛歷史狀態表(車輛標識,上傳時間，行駛里程，車速，電量) include (發動機溫度，發送機轉速，油耗，衛星數量，衛星信號強度，……)
車輛狀態歷史表中目前有記錄12億條左右，Region有52個基于rowkey查詢
基于索引字段查詢
通過HBase+Phoenix，豐富了我們的歷史查詢手段，原先的車輛1個月軌跡歷史數據回放查詢需要5-10分鐘，現在2秒內就能返回所需數據。上面的數據都是我們實際的業務場景數據測試的結果，提升了150倍，大大超出我們的期望。
4、集群狀況
目前接入的車輛大約為3萬輛，其中比較重要的考察指標就是OPS(operation per second 每秒操作次數),主要針對車輛數據的實時不間斷寫入，目前HBase集群中，平均在1.5K OPS,峰值可以到達2K OPS,目前的集群配置可以支撐最大約400K的OPS，至少可以滿足未來2年左右的業務增長需要。阿里云HBase同時支持資源節點水平，垂直擴展和滾動重啟，基本可以做到用戶無感知下完成升級，這種能力對適應業務的敏捷變化非常有幫助。
3.3 數據處理
場景實例
以網約車管理平臺為例，主要數據來源為車況數據和訂單數據，進入Kafka后，拉出兩個分支，分別存儲進HBase數據庫和進入Spark Streaming流式計算引擎，主要用來為運營部門優化網點，車輛分流，監控部門的風控管理和商業BI相關的離線分析提供數據支撐。
3.4 使用感受
現在車紛享的車聯網數據平臺已遷入阿里云HBase團隊已經半年多了，平均日寫入數據幾十G，到現在還沒出現數據服務器的嚴重故障問題，總體比較穩定，大大降低了我司的運營管理成本。阿里云HBase團隊也給我們的開發團隊提供了有力的技術支撐，碰到技術問題，我們可以非常及時得到響應，幫助我們排除了業務開發中的許多問題。再次證明我們的當初選擇是正確的。
同時也希望阿里云HBase團隊未來可以在產品易用性上更上一層樓。展望未來，隨著業務的擴展，我們的數據會有一個指數級的增長。
希望新的一年繼續和阿里云加大合作，同時將運營中的問題反饋到阿里云技術社區，協助阿里云技術團隊將數據產品做得越來越好。
原文鏈接
干貨好文，請關注掃描以下二維碼：
總結
以上是生活随笔為你收集整理的车纷享：基于阿里云HBase构建车联网平台实践的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 阿里云大数据利器Maxcompute-使
- 下一篇： 深入理解JAVA虚拟机学习笔记（一）JV