开放、普惠、高性能-SLS时序存储助力打造企业级全方位监控方案
無所不在的時序數據
時間帶走一切，長年累月會把你的名字、外貌、性格、命運都改變。 ---柏拉圖
隨著時間的推移，萬事萬物都在不停的變化，而我們也會用各種數字去衡量這些變化信息，比如年齡、重量、速度、溫度、金錢...在數字化時代中，我們會把這些隨著時間變化的數據保存起來，挖掘這些數據的價值。通常我們會稱這類數據為---時序數據。
時序數據用于描述物體在時間維度上的狀態變化信息。
時序數據在各行各業都得到了非常廣泛的應用，例如股票走勢、交易趨勢、服務器指標、脈搏心跳、定位坐標、能耗趨勢等等，而這些數據幾乎在所有的場景中都得到了應用，例如：
我們需要一個什么樣的時序存儲
為了能夠支撐各種場景的時序分析、監控等需求，近幾年在開源和商業領域均出現了一些時序存儲的引擎，例如TimescaleDB、CrateDB、InfluxDB、OpenTSDB、Prometheus等，這些存儲引擎分別有自己的生態和適用場景，在某些場景下具有較高的優勢，例如TimescaleDB基于PostgreSQL，如果是PG的用戶可以快速上手；InfluxDB具有非常完善的生態，TICK（Telegraf、 InfluxDB、Chronograf、Kapacitor）可以快速上手；Prometheus對于云原生場景支持非常友好，PromQL也非常便捷靈活，已經成為Kubernetes上監控的實事標準。
然而從實際公司的業務場景出發，對于時序數據會有更多的要求：
SLS時序存儲發布
SLS的日志存儲引擎在2016年對外發布，目前承接阿里內部以及眾多企業的日志數據存儲，每天有數十PB的日志類數據寫入。其中有很大一部分屬于時序類數據或者用來計算時序指標，為了讓用戶能夠一站式完成整個DevOps生命周期的數據接入、清洗、加工、提取、存儲、可視化、監控、問題分析等過程，我們專門推出了時序存儲的功能，與日志存儲一道為大家解決各類機器數據的存儲問題。
時序存儲整體架構如上圖所示，接入層可以對接各類開源的采集軟件以及SLS自己開發的高性能Logtail，同時支持各種語言SDK直接寫入，也支持Kafka、Syslog等開放性協議；存儲層是完全分布式架構，每個時序庫可通過Sharding方式水平擴展，數據默認3副本高可靠存儲；計算層與存儲層分離，提供SQL、PromQL純分析型語法，同時提供智能分析能力。基于SLS提供的采集、存儲、分析等功能可快速構建企業自己的業務監控、微服務監控等方案。
功能特點
SLS時序存儲從設計之初就是為了解決阿里內部與眾多頭部企業客戶的時序存儲需求，并借助于阿里內部多年的技術積累，使之可以適應絕大部分企業級時序監控/分析訴求。SLS時序存儲的特點主要有：
典型應用場景
應用/業務監控
應用/業務監控是公司層面重要的工作之一，在阿里內部一直作為最重要的監控項在建設。通過SLS提供的各類數據采集功能將所有應用/業務數據統一、實時采集，利用數據加工把各個不同時期、不同風格的數據做結構化處理，基于結構化的數據就可以做一定的分析，但通常業務數據量級較大，我們還會使用SQL的聚合功能對數據進行一定的降維，使用降維后的聚合時序數據來做告警以及長期的監控指標回溯。
云原生監控
隨著云原生技術的普及，越來越多的公司開始技術轉型到云原生架構，借助于Prometheus、OpenTelemetry等CNCF的開源Project可以快速采集到Kubernetes以及各類中間件、應用的監控信息，阿里云上的云監控獲取到所有云產品的監控數據。利用SLS時序存儲以及日志/Trace存儲的能力，可以支持各類監控數據的統一存儲，數據可無縫對接Grafana的可視化，在Grafana上構建基礎設施、云產品、中間件、應用軟件的全方位監控大盤。
訪問日志分析
訪問日志作為網站、APP的入口流量記錄，能夠直接反映出當前應用是否正常，因此運維領域的必備監控項。通過Logtail采集原始的訪問日志，可用來分析/調查每個用戶的請求，也可用作歸檔/審計需求；但原始訪問日志量較大，不太適合直接的監控，通常會通過預聚合的方式對數據進行降維，基于聚合后的時序數據進行實時監控，并可應用SLS提供的智能巡檢功能對每個業務站點進行獨立的智能監控。
?
無所不在的時序數據
時間帶走一切，長年累月會把你的名字、外貌、性格、命運都改變。 ---柏拉圖
隨著時間的推移，萬事萬物都在不停的變化，而我們也會用各種數字去衡量這些變化信息，比如年齡、重量、速度、溫度、金錢...在數字化時代中，我們會把這些隨著時間變化的數據保存起來，挖掘這些數據的價值。通常我們會稱這類數據為---時序數據。
時序數據用于描述物體在時間維度上的狀態變化信息。
時序數據在各行各業都得到了非常廣泛的應用，例如股票走勢、交易趨勢、服務器指標、脈搏心跳、定位坐標、能耗趨勢等等，而這些數據幾乎在所有的場景中都得到了應用，例如：
?
我們需要一個什么樣的時序存儲
為了能夠支撐各種場景的時序分析、監控等需求，近幾年在開源和商業領域均出現了一些時序存儲的引擎，例如TimescaleDB、CrateDB、InfluxDB、OpenTSDB、Prometheus等，這些存儲引擎分別有自己的生態和適用場景，在某些場景下具有較高的優勢，例如TimescaleDB基于PostgreSQL，如果是PG的用戶可以快速上手；InfluxDB具有非常完善的生態，TICK（Telegraf、 InfluxDB、Chronograf、Kapacitor）可以快速上手；Prometheus對于云原生場景支持非常友好，PromQL也非常便捷靈活，已經成為Kubernetes上監控的實事標準。
然而從實際公司的業務場景出發，對于時序數據會有更多的要求：
?
SLS時序存儲發布
SLS的日志存儲引擎在2016年對外發布，目前承接阿里內部以及眾多企業的日志數據存儲，每天有數十PB的日志類數據寫入。其中有很大一部分屬于時序類數據或者用來計算時序指標，為了讓用戶能夠一站式完成整個DevOps生命周期的數據接入、清洗、加工、提取、存儲、可視化、監控、問題分析等過程，我們專門推出了時序存儲的功能，與日志存儲一道為大家解決各類機器數據的存儲問題。
時序存儲整體架構如上圖所示，接入層可以對接各類開源的采集軟件以及SLS自己開發的高性能Logtail，同時支持各種語言SDK直接寫入，也支持Kafka、Syslog等開放性協議；存儲層是完全分布式架構，每個時序庫可通過Sharding方式水平擴展，數據默認3副本高可靠存儲；計算層與存儲層分離，提供SQL、PromQL純分析型語法，同時提供智能分析能力。基于SLS提供的采集、存儲、分析等功能可快速構建企業自己的業務監控、微服務監控等方案。
?
功能特點
SLS時序存儲從設計之初就是為了解決阿里內部與眾多頭部企業客戶的時序存儲需求，并借助于阿里內部多年的技術積累，使之可以適應絕大部分企業級時序監控/分析訴求。SLS時序存儲的特點主要有：
?
典型應用場景
?
應用/業務監控
應用/業務監控是公司層面重要的工作之一，在阿里內部一直作為最重要的監控項在建設。通過SLS提供的各類數據采集功能將所有應用/業務數據統一、實時采集，利用數據加工把各個不同時期、不同風格的數據做結構化處理，基于結構化的數據就可以做一定的分析，但通常業務數據量級較大，我們還會使用SQL的聚合功能對數據進行一定的降維，使用降維后的聚合時序數據來做告警以及長期的監控指標回溯。
云原生監控
隨著云原生技術的普及，越來越多的公司開始技術轉型到云原生架構，借助于Prometheus、OpenTelemetry等CNCF的開源Project可以快速采集到Kubernetes以及各類中間件、應用的監控信息，阿里云上的云監控獲取到所有云產品的監控數據。利用SLS時序存儲以及日志/Trace存儲的能力，可以支持各類監控數據的統一存儲，數據可無縫對接Grafana的可視化，在Grafana上構建基礎設施、云產品、中間件、應用軟件的全方位監控大盤。
訪問日志分析
訪問日志作為網站、APP的入口流量記錄，能夠直接反映出當前應用是否正常，因此運維領域的必備監控項。通過Logtail采集原始的訪問日志，可用來分析/調查每個用戶的請求，也可用作歸檔/審計需求；但原始訪問日志量較大，不太適合直接的監控，通常會通過預聚合的方式對數據進行降維，基于聚合后的時序數據進行實時監控，并可應用SLS提供的智能巡檢功能對每個業務站點進行獨立的智能監控。
無所不在的時序數據
時間帶走一切，長年累月會把你的名字、外貌、性格、命運都改變。 ---柏拉圖
隨著時間的推移，萬事萬物都在不停的變化，而我們也會用各種數字去衡量這些變化信息，比如年齡、重量、速度、溫度、金錢...在數字化時代中，我們會把這些隨著時間變化的數據保存起來，挖掘這些數據的價值。通常我們會稱這類數據為---時序數據。
時序數據用于描述物體在時間維度上的狀態變化信息。
時序數據在各行各業都得到了非常廣泛的應用，例如股票走勢、交易趨勢、服務器指標、脈搏心跳、定位坐標、能耗趨勢等等，而這些數據幾乎在所有的場景中都得到了應用，例如：
?
我們需要一個什么樣的時序存儲
為了能夠支撐各種場景的時序分析、監控等需求，近幾年在開源和商業領域均出現了一些時序存儲的引擎，例如TimescaleDB、CrateDB、InfluxDB、OpenTSDB、Prometheus等，這些存儲引擎分別有自己的生態和適用場景，在某些場景下具有較高的優勢，例如TimescaleDB基于PostgreSQL，如果是PG的用戶可以快速上手；InfluxDB具有非常完善的生態，TICK（Telegraf、 InfluxDB、Chronograf、Kapacitor）可以快速上手；Prometheus對于云原生場景支持非常友好，PromQL也非常便捷靈活，已經成為Kubernetes上監控的實事標準。
然而從實際公司的業務場景出發，對于時序數據會有更多的要求：
?
SLS時序存儲發布
SLS的日志存儲引擎在2016年對外發布，目前承接阿里內部以及眾多企業的日志數據存儲，每天有數十PB的日志類數據寫入。其中有很大一部分屬于時序類數據或者用來計算時序指標，為了讓用戶能夠一站式完成整個DevOps生命周期的數據接入、清洗、加工、提取、存儲、可視化、監控、問題分析等過程，我們專門推出了時序存儲的功能，與日志存儲一道為大家解決各類機器數據的存儲問題。
時序存儲整體架構如上圖所示，接入層可以對接各類開源的采集軟件以及SLS自己開發的高性能Logtail，同時支持各種語言SDK直接寫入，也支持Kafka、Syslog等開放性協議；存儲層是完全分布式架構，每個時序庫可通過Sharding方式水平擴展，數據默認3副本高可靠存儲；計算層與存儲層分離，提供SQL、PromQL純分析型語法，同時提供智能分析能力。基于SLS提供的采集、存儲、分析等功能可快速構建企業自己的業務監控、微服務監控等方案。
?
功能特點
SLS時序存儲從設計之初就是為了解決阿里內部與眾多頭部企業客戶的時序存儲需求，并借助于阿里內部多年的技術積累，使之可以適應絕大部分企業級時序監控/分析訴求。SLS時序存儲的特點主要有：
?
典型應用場景
?
應用/業務監控
應用/業務監控是公司層面重要的工作之一，在阿里內部一直作為最重要的監控項在建設。通過SLS提供的各類數據采集功能將所有應用/業務數據統一、實時采集，利用數據加工把各個不同時期、不同風格的數據做結構化處理，基于結構化的數據就可以做一定的分析，但通常業務數據量級較大，我們還會使用SQL的聚合功能對數據進行一定的降維，使用降維后的聚合時序數據來做告警以及長期的監控指標回溯。
云原生監控
隨著云原生技術的普及，越來越多的公司開始技術轉型到云原生架構，借助于Prometheus、OpenTelemetry等CNCF的開源Project可以快速采集到Kubernetes以及各類中間件、應用的監控信息，阿里云上的云監控獲取到所有云產品的監控數據。利用SLS時序存儲以及日志/Trace存儲的能力，可以支持各類監控數據的統一存儲，數據可無縫對接Grafana的可視化，在Grafana上構建基礎設施、云產品、中間件、應用軟件的全方位監控大盤。
訪問日志分析
訪問日志作為網站、APP的入口流量記錄，能夠直接反映出當前應用是否正常，因此運維領域的必備監控項。通過Logtail采集原始的訪問日志，可用來分析/調查每個用戶的請求，也可用作歸檔/審計需求；但原始訪問日志量較大，不太適合直接的監控，通常會通過預聚合的方式對數據進行降維，基于聚合后的時序數據進行實時監控，并可應用SLS提供的智能巡檢功能對每個業務站點進行獨立的智能監控。
?
作者：元乙
原文鏈接：https://developer.aliyun.com/article/768895?utm_content=g_1000161276
本文為阿里云原創內容，未經允許不得轉載
總結
以上是生活随笔為你收集整理的开放、普惠、高性能-SLS时序存储助力打造企业级全方位监控方案的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 如何构建一个拖垮整个公司的备份系统
- 下一篇： 双11“新贵”红星美凯龙：数据中台充分给