阿里云ACE共創空間——大數據方案體驗1 日志服務



從阿里云官方文檔介紹中，可以看到Log service日志服務主要包含三部分的內容：
1、 實時采集與消費LogHub
2、 查詢分析Search/Analytics
3、 數據投遞與倉庫LogShipper

進入管理控制臺后，需要先開通服務，從創建Porject這個對話框來看和MAXCOMPUTE和DATA IDE的界面和操作方式類似，備注里說明記錄該項目下所有資源的操作、訪問和計量等日志并保存到Logstore中，類似于DATA IDE中的項目和MAXCOMPUTE中的項目關聯方式。

Project名稱這里輸入測試項目的編號，在所屬的區域選擇華東2，下方的紅色提醒提示，因為開通運行日志后，日志服務信息需要寫入到指定項目的日志庫，涉及到寫的操作，所以需要在RAM中進行授權。為了方便測試，把測試項目的名稱取名為test20181126。

創建Project后，可以看到收集來的日志信息是儲存在Logstore中的，所以需要創建Logstore即日志庫的具體信息，在屬性設置中可以看到以下幾項關鍵內容：
1、 Web Tracking：其功能是支持快速采集各種瀏覽器和設備的訪問信息，這個作用是有助于快速的收集用戶訪問過程中的日志信息。
2、 永久保存：生命周期的選擇可以是永久保存，也可以關閉永久保存來根據實際需要輸入需要保存的時間期限。
3、 Shard數目、自動分裂shard和最大分裂數：shard的定義和其他模塊一樣，表示的流數據的傳輸通道，其中自動分裂的功能代表著log service的服務和其他服務一樣，有彈性的功能，當數據量超過已有分區能力后，自動分裂功能可以根據數據量來自動增加分區數量，并且用戶可以自己選擇最大的分裂數。

在創建了Logstore日志庫后，匯總下目前的情況：
1、 創建了測試項目，項目名稱為：test20181126
2、 在項目下創建了日志庫，日志庫的名稱為：test20181126_store
在日志庫中可以對于日志的采集和投遞做出進一步配置，包括數據接入向導、日志采集模式、日志消費模式等。先對于數據接入向導進行配置：



數據源提供了很多選擇，涵蓋了云產品日志、自建軟件日志和自定義數據的輸入，在選擇云產品如SLB進行日志收集前同樣需要在RAM中進行授權。如果是用戶自建軟件或者自定義的數據，需要對日志的路徑和配置做一定的設置。在日志數據的輸入側，提供了各種輸入源的接入方式，能滿足用戶對于數據輸入的各種需要。

在設置完成數據接入后，可以在Logtail配置列表中看到所有的配置信息，包括配置的名稱、數據來源、配置詳情和操作。還可以通過錯誤信息收集來針對收集過程中的錯誤做進一步診斷。對于導入的日志信息，可以在界面上進行快速查詢、告警配置和儀表盤的設置，方便用戶定義監控和報警的需求。

在投遞方面只支持MAXCOMPUTE和OSS兩種輸出源，這代表這一部分的內容目前只能輸出到離線的處理系統上而不能支持投遞到諸如STREAMCOMPUTE和ADS等能支持實時計算的系統。這個是體驗后的一個比較大的疑問，因為日志信息中所含的信息量較多，數據本身也會非常大并且時間的敏感性很高，諸如高峰期的日志信息能夠越早處理，越能挖掘出其中的價值。其本身日志庫作為一個分布式數據庫并且能在其中進行查詢等操作為何還沒能投遞到其他輸出源的方式，是否是因為日志信息屬于半結構化數據所以只能以MAXCOMUPTE和OSS作為輸出方需要進一步的研究。

總結

以上是生活随笔為你收集整理的阿里云ACE共创空间——大数据方案体验1 日志服务的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。