系列文章：

• IOT/智能設(shè)備日志解決方案（1）：概述
• IOT/智能設(shè)備日志解決方案（2）：全方位數(shù)據(jù)采集
• IOT/智能設(shè)備日志解決方案（3）：上下游對接
• IOT/智能設(shè)備日志解決方案（4）：計算與分析
• IOT/智能設(shè)備日志解決方案（5）：線上問題調(diào)查
• IOT/智能設(shè)備日志解決方案（6）：實時監(jiān)控
• IOT/智能設(shè)備日志解決方案（7）：搭建業(yè)務(wù)大盤

前言

2017年被業(yè)界稱為物聯(lián)網(wǎng)(IOT)元年，而未來IOT還將繼續(xù)高歌猛進。IDC預(yù)測全世界在IOT的開支在2018年預(yù)計至7725億美金，相比2017年的6740億美金有14.6%的上漲。IDC全球半年度IOT開銷指南預(yù)估在2017年~2021年間全球iOT開支保持在14.4%的CAGR（年復(fù)合增長率）在2020年超過1萬億美金，且在2021年達(dá)到11000億美金。愛立信最新發(fā)布的數(shù)據(jù)顯示，到2020年預(yù)計會有500億件設(shè)備互聯(lián)。麥肯錫預(yù)測，到2025年，物聯(lián)網(wǎng)將帶來高達(dá)11萬億美元的年度儲蓄和新收入。

下面我們再來看看智能設(shè)備：2017年，全球智能家居設(shè)備出貨量達(dá)4.331億臺，比上一年增長27.6%。展望未來，IDC預(yù)計2022年市場出貨量達(dá)到9.397億臺，預(yù)計復(fù)合年增長率(CAGR)將達(dá)18.5%。

無論是物聯(lián)網(wǎng)還是智能設(shè)備，規(guī)模都越來越大，產(chǎn)業(yè)分工也越來越明確，逐漸形成一整套的生態(tài)系統(tǒng)。而同時無論是物聯(lián)網(wǎng)還是智能設(shè)備的生態(tài)系統(tǒng)中，日志數(shù)據(jù)永遠(yuǎn)是不可缺少的一個重要環(huán)節(jié)。

日志數(shù)據(jù)

首先我們需要明確：什么是日志數(shù)據(jù)。日志并不僅僅是程序的Debug數(shù)據(jù)，此外還包括但不限于：用戶的操作日志、計量計費數(shù)據(jù)、系統(tǒng)事件、傳感器數(shù)據(jù)、系統(tǒng)/應(yīng)用指標(biāo)數(shù)據(jù)、審計相關(guān)數(shù)據(jù)、調(diào)用鏈日志等等。
這么多種類的日志，看似功能并不關(guān)聯(lián)，但從我們的最終目的來看，無論哪種類型的數(shù)據(jù)都必不可少。而這個最終的目的也非常的直白淺顯：回報（錢）。為了更高的回報，我們需要利用這些數(shù)據(jù)去分析用戶的行為，去進行更有效的運營策略，提高用戶粘性；更精準(zhǔn)的廣告投放，提高廣告點擊率；利用全方位的日志分析產(chǎn)品缺陷，進行產(chǎn)品優(yōu)化和快速迭代...

日志解決方案

一個標(biāo)準(zhǔn)的日志解決方案主要包括以下幾個流程：

連接：連接主要分為設(shè)備端（IOT/智能設(shè)備）和服務(wù)端（服務(wù)器以及服務(wù)端應(yīng)用）的數(shù)據(jù)采集。數(shù)據(jù)采集需連接分布在全球各地的設(shè)備和后臺服務(wù)，并將設(shè)備、服務(wù)端的各種類型日志數(shù)據(jù)統(tǒng)一采集到存儲端。為了便于上下游對接，這個存儲端通常使用消息隊列作為中間的數(shù)據(jù)緩存。

計算：各類數(shù)據(jù)采集到消息隊列后，會進行多輪的計算工作，包括預(yù)處理、清洗、聚合等等，各輪的中間計算結(jié)果會繼續(xù)保存到隊列中，用于下一輪次的輸入。同時計算的過程也可能由其他外部數(shù)據(jù)源的參與，例如記錄設(shè)備meta數(shù)據(jù)的數(shù)據(jù)庫等。

監(jiān)控：為了更快速的發(fā)現(xiàn)異常，需要對隊列中實時進入的數(shù)據(jù)進行監(jiān)控，包括設(shè)備狀態(tài)以及后端服務(wù)狀態(tài)。后端服務(wù)監(jiān)控技術(shù)通常較為成熟，設(shè)備端狀態(tài)的遠(yuǎn)程監(jiān)控時效性較難保證。

分析：當(dāng)數(shù)據(jù)計算處理完成后，會進行一些在線和離線的分析，在線分析通常基于流計算實現(xiàn)，離線分析通常會進入數(shù)倉進行。

利用：最后也是最重要的部分是如何更好的利用這些數(shù)據(jù)以及分析的結(jié)果，包括：智能廣告推薦、用戶畫像構(gòu)建、產(chǎn)品優(yōu)化、商業(yè)決策支持等。最終這些結(jié)果會重新作用于設(shè)備端，形成一個數(shù)據(jù)閉環(huán)。

IOT/智能設(shè)備日志方案難點分析

搭建一個日志解決方案并不難，網(wǎng)絡(luò)上有很多開源日志解決方案。但其中有一些問題，尤其是針對IOT/智能設(shè)備場景的問題難以解決，主要包括：

輕量級的日志客戶端：日志上傳需要在設(shè)備端嵌入，通常使用SDK的方式。由于日志采集只是系統(tǒng)中的的一個非核心業(yè)務(wù)模塊，對于資源的占用需盡可能的低，包括CPU、內(nèi)存、網(wǎng)絡(luò)等。最關(guān)鍵的是日志采集SDK需要足夠的小，小到可以“塞”到各種各樣的設(shè)備端。

全球數(shù)據(jù)采集網(wǎng)絡(luò)：對于一款消費級/工業(yè)級產(chǎn)品，設(shè)備遍布全國/全球非常普遍，普通的數(shù)據(jù)采集網(wǎng)絡(luò)只能依賴于公網(wǎng)，網(wǎng)絡(luò)鏈路質(zhì)量很難得到保證，數(shù)據(jù)采集也會存在一定的延遲和不可靠因素。如何建立起一張全球采集加速的網(wǎng)絡(luò)對于設(shè)備端日志數(shù)據(jù)采集的時效性和穩(wěn)定性非常重要，但同時該項工作也需極大的資源投入。

數(shù)據(jù)時效性：數(shù)據(jù)采集的時效性一般是從日志產(chǎn)生到最終在服務(wù)端可檢索到的時間，通常的方案是數(shù)據(jù)到達(dá)隊列后，批量同步到數(shù)倉，一般需要1-2小時才能檢索到，最快也只能到分鐘級。這種時效性對于問題的及時發(fā)現(xiàn)和排查存在很大困難。若數(shù)據(jù)幾秒內(nèi)可見，則可做的優(yōu)化就非常多了：設(shè)備新版本發(fā)布時，可快速發(fā)現(xiàn)問題并及時回滾；客戶反饋問題時，客服可基于數(shù)據(jù)查詢系統(tǒng)幫助用戶實時的排查問題；根據(jù)用戶當(dāng)前的操作信息實時推薦類似內(nèi)容...

前后端一體化：日志采集不僅包括設(shè)備端（前端），還包括后端（服務(wù)端）各類支撐應(yīng)用的日志，這兩部分日志雖大有不同，但其中很多日志只有前后關(guān)聯(lián)，才能形成完整的調(diào)用鏈分析。因此前后端日志的采集、處理、分析應(yīng)歸于一體。

方案實現(xiàn)

針對以上問題，我們專門推出了基于阿里云日志服務(wù)的IOT/智能設(shè)備日志解決方案：

設(shè)備端（IOT/智能設(shè)備）和服務(wù)端的日志分別通過C Producer和Logtail統(tǒng)一采集到日志服務(wù)中。C Producer最低只占用4KB內(nèi)存；針對全球數(shù)據(jù)采集場景，日志服務(wù)專門提供了全球采集加速功能。

采集到日志服務(wù)的數(shù)據(jù)，使用Blink進行數(shù)據(jù)清洗和迭代計算。Blink支持從日志服務(wù)中讀取數(shù)據(jù)，處理完畢后還支持寫入日志服務(wù)，因此可組合使用Blink、日志服務(wù)進行多次的迭代計算。

對于清洗后的數(shù)據(jù)，可直接使用日志服務(wù)的統(tǒng)計分析功能進行實時的數(shù)據(jù)統(tǒng)計。同時日志服務(wù)還支持基于統(tǒng)計的結(jié)果快速創(chuàng)建報表以及告警，從客戶端產(chǎn)生數(shù)據(jù)到報表可見，延遲可控制在5秒內(nèi)。

考慮到離線分析需要針對長時間范圍（數(shù)年）的數(shù)據(jù)進行統(tǒng)計，日志服務(wù)還支持將數(shù)據(jù)投遞到OSS、MaxCompute進行歸檔，便于后續(xù)的離線分析。

總結(jié)

以上是生活随笔為你收集整理的IOT/智能设备日志解决方案（1）：概述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。