系列文章：

• IOT/智能設備日志解決方案（1）：概述
• IOT/智能設備日志解決方案（2）：全方位數據采集
• IOT/智能設備日志解決方案（3）：上下游對接
• IOT/智能設備日志解決方案（4）：計算與分析
• IOT/智能設備日志解決方案（5）：線上問題調查
• IOT/智能設備日志解決方案（6）：實時監控
• IOT/智能設備日志解決方案（7）：搭建業務大盤

前言

2017年被業界稱為物聯網(IOT)元年，而未來IOT還將繼續高歌猛進。IDC預測全世界在IOT的開支在2018年預計至7725億美金，相比2017年的6740億美金有14.6%的上漲。IDC全球半年度IOT開銷指南預估在2017年~2021年間全球iOT開支保持在14.4%的CAGR（年復合增長率）在2020年超過1萬億美金，且在2021年達到11000億美金。愛立信最新發布的數據顯示，到2020年預計會有500億件設備互聯。麥肯錫預測，到2025年，物聯網將帶來高達11萬億美元的年度儲蓄和新收入。

下面我們再來看看智能設備：2017年，全球智能家居設備出貨量達4.331億臺，比上一年增長27.6%。展望未來，IDC預計2022年市場出貨量達到9.397億臺，預計復合年增長率(CAGR)將達18.5%。

無論是物聯網還是智能設備，規模都越來越大，產業分工也越來越明確，逐漸形成一整套的生態系統。而同時無論是物聯網還是智能設備的生態系統中，日志數據永遠是不可缺少的一個重要環節。

日志數據

首先我們需要明確：什么是日志數據。日志并不僅僅是程序的Debug數據，此外還包括但不限于：用戶的操作日志、計量計費數據、系統事件、傳感器數據、系統/應用指標數據、審計相關數據、調用鏈日志等等。
這么多種類的日志，看似功能并不關聯，但從我們的最終目的來看，無論哪種類型的數據都必不可少。而這個最終的目的也非常的直白淺顯：回報（錢）。為了更高的回報，我們需要利用這些數據去分析用戶的行為，去進行更有效的運營策略，提高用戶粘性；更精準的廣告投放，提高廣告點擊率；利用全方位的日志分析產品缺陷，進行產品優化和快速迭代...

日志解決方案

一個標準的日志解決方案主要包括以下幾個流程：

連接：連接主要分為設備端（IOT/智能設備）和服務端（服務器以及服務端應用）的數據采集。數據采集需連接分布在全球各地的設備和后臺服務，并將設備、服務端的各種類型日志數據統一采集到存儲端。為了便于上下游對接，這個存儲端通常使用消息隊列作為中間的數據緩存。

計算：各類數據采集到消息隊列后，會進行多輪的計算工作，包括預處理、清洗、聚合等等，各輪的中間計算結果會繼續保存到隊列中，用于下一輪次的輸入。同時計算的過程也可能由其他外部數據源的參與，例如記錄設備meta數據的數據庫等。

監控：為了更快速的發現異常，需要對隊列中實時進入的數據進行監控，包括設備狀態以及后端服務狀態。后端服務監控技術通常較為成熟，設備端狀態的遠程監控時效性較難保證。

分析：當數據計算處理完成后，會進行一些在線和離線的分析，在線分析通常基于流計算實現，離線分析通常會進入數倉進行。

利用：最后也是最重要的部分是如何更好的利用這些數據以及分析的結果，包括：智能廣告推薦、用戶畫像構建、產品優化、商業決策支持等。最終這些結果會重新作用于設備端，形成一個數據閉環。

IOT/智能設備日志方案難點分析

搭建一個日志解決方案并不難，網絡上有很多開源日志解決方案。但其中有一些問題，尤其是針對IOT/智能設備場景的問題難以解決，主要包括：

輕量級的日志客戶端：日志上傳需要在設備端嵌入，通常使用SDK的方式。由于日志采集只是系統中的的一個非核心業務模塊，對于資源的占用需盡可能的低，包括CPU、內存、網絡等。最關鍵的是日志采集SDK需要足夠的小，小到可以“塞”到各種各樣的設備端。

全球數據采集網絡：對于一款消費級/工業級產品，設備遍布全國/全球非常普遍，普通的數據采集網絡只能依賴于公網，網絡鏈路質量很難得到保證，數據采集也會存在一定的延遲和不可靠因素。如何建立起一張全球采集加速的網絡對于設備端日志數據采集的時效性和穩定性非常重要，但同時該項工作也需極大的資源投入。

數據時效性：數據采集的時效性一般是從日志產生到最終在服務端可檢索到的時間，通常的方案是數據到達隊列后，批量同步到數倉，一般需要1-2小時才能檢索到，最快也只能到分鐘級。這種時效性對于問題的及時發現和排查存在很大困難。若數據幾秒內可見，則可做的優化就非常多了：設備新版本發布時，可快速發現問題并及時回滾；客戶反饋問題時，客服可基于數據查詢系統幫助用戶實時的排查問題；根據用戶當前的操作信息實時推薦類似內容...

前后端一體化：日志采集不僅包括設備端（前端），還包括后端（服務端）各類支撐應用的日志，這兩部分日志雖大有不同，但其中很多日志只有前后關聯，才能形成完整的調用鏈分析。因此前后端日志的采集、處理、分析應歸于一體。

方案實現

針對以上問題，我們專門推出了基于阿里云日志服務的IOT/智能設備日志解決方案：

設備端（IOT/智能設備）和服務端的日志分別通過C Producer和Logtail統一采集到日志服務中。C Producer最低只占用4KB內存；針對全球數據采集場景，日志服務專門提供了全球采集加速功能。

采集到日志服務的數據，使用Blink進行數據清洗和迭代計算。Blink支持從日志服務中讀取數據，處理完畢后還支持寫入日志服務，因此可組合使用Blink、日志服務進行多次的迭代計算。

對于清洗后的數據，可直接使用日志服務的統計分析功能進行實時的數據統計。同時日志服務還支持基于統計的結果快速創建報表以及告警，從客戶端產生數據到報表可見，延遲可控制在5秒內。

考慮到離線分析需要針對長時間范圍（數年）的數據進行統計，日志服務還支持將數據投遞到OSS、MaxCompute進行歸檔，便于后續的離線分析。

總結

以上是生活随笔為你收集整理的IOT/智能设备日志解决方案（1）：概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。