阿里云发布时间序列数据库TSDB,关于时序你了解多少?
概要介紹
時(shí)間序列數(shù)據(jù)是一種表示物理設(shè)備,系統(tǒng)、應(yīng)用過(guò)程或行為隨時(shí)間變化的數(shù)據(jù),廣泛應(yīng)用于物聯(lián)網(wǎng),工業(yè)物聯(lián)網(wǎng),基礎(chǔ)運(yùn)維系統(tǒng)等場(chǎng)景。阿里云TSDB 時(shí)間序列數(shù)據(jù)庫(kù)可以解決大規(guī)模時(shí)序數(shù)據(jù)的可靠寫入,降低數(shù)據(jù)存儲(chǔ)成本,實(shí)時(shí)靈活的完成業(yè)務(wù)數(shù)據(jù)聚合分析。
什么是時(shí)序數(shù)據(jù)
我們來(lái)看感受一下平時(shí)自己特別熟悉的場(chǎng)景,就會(huì)發(fā)現(xiàn)時(shí)序和每個(gè)人都存在非常緊密的關(guān)系:
電商系統(tǒng)獲取每筆訂單交易金額和支付金額數(shù)據(jù)以及商品庫(kù)存和物流數(shù)據(jù);
智能電表,會(huì)實(shí)時(shí)記錄每個(gè)小時(shí)的用電量數(shù)據(jù),比給出賬單數(shù)據(jù);
高山上的風(fēng)車的獲取實(shí)時(shí)轉(zhuǎn)速,風(fēng)速數(shù)據(jù),發(fā)電量數(shù)據(jù)。
應(yīng)用服務(wù)調(diào)用量有沒(méi)有異常,服務(wù)器的負(fù)載和資源使用率如何?
這些應(yīng)用程序均依賴一種衡量事物隨時(shí)間的變化的數(shù)據(jù)形式,每一個(gè)數(shù)據(jù)源定期發(fā)送新的讀數(shù),創(chuàng)建一系列隨時(shí)間推移收集到的測(cè)量結(jié)果,這就是時(shí)序數(shù)據(jù),時(shí)序數(shù)據(jù)數(shù)據(jù)集主要有以下三個(gè)特點(diǎn):
因此,我們這樣定義時(shí)間序列數(shù)據(jù):統(tǒng)一表示系統(tǒng)、過(guò)程或行為隨時(shí)間變化的數(shù)據(jù)
時(shí)序數(shù)據(jù)的價(jià)值
相較域非時(shí)序數(shù)據(jù),核心區(qū)別在于時(shí)序數(shù)據(jù)能夠反映“變化”本身。當(dāng)你為某個(gè)物聯(lián)網(wǎng)設(shè)備收集新數(shù)據(jù)時(shí),是覆蓋以往的讀數(shù),還是在新的一行創(chuàng)建全新的讀數(shù)?盡管這兩種方法都能為你提供系統(tǒng)的當(dāng)前狀態(tài),但只有第二種方法才能跟蹤系統(tǒng)的所有狀態(tài)。
所以時(shí)序數(shù)據(jù)的價(jià)值在于將系統(tǒng)的每個(gè)變化都記錄為新的一行,從而可以去衡量變化,分析過(guò)去的變化,監(jiān)測(cè)現(xiàn)在的變化,以及預(yù)測(cè)未來(lái)將如何變化。
時(shí)序數(shù)據(jù)庫(kù)TSDB 的價(jià)值
為什么不能用常規(guī)數(shù)據(jù)庫(kù)來(lái)管理時(shí)序數(shù)據(jù)呢,為什么需要時(shí)序數(shù)據(jù)庫(kù)呢?事實(shí)上答案是你可以使用非時(shí)間序列數(shù)據(jù)庫(kù),如同你可以為航天飛行器配備一個(gè)普通的汽車發(fā)動(dòng)機(jī),雖然也可以飛起來(lái),但是終究不能實(shí)現(xiàn)航天飛行的“夢(mèng)想”。
而更多業(yè)務(wù)場(chǎng)景選擇擇時(shí)序數(shù)據(jù)庫(kù)而非通用數(shù)據(jù)庫(kù)技術(shù)也是類似的原因歸結(jié)起來(lái)就是兩個(gè)核心點(diǎn):規(guī)模和可用性。
(1)規(guī)模:時(shí)間序列數(shù)據(jù)累計(jì)速度非常快。例如,一輛聯(lián)網(wǎng)汽車每小時(shí)產(chǎn)生幾百GB 的數(shù)據(jù)。關(guān)系型數(shù)據(jù)庫(kù)處理大數(shù)據(jù)集的效果非常糟糕;NoSQ數(shù)據(jù)庫(kù)可以很好地處理規(guī)模數(shù)據(jù),但是仍然比不上一個(gè)針對(duì)時(shí)間序列數(shù)據(jù)微調(diào)過(guò)的數(shù)據(jù)庫(kù)。相比之下,時(shí)間序列數(shù)據(jù)庫(kù)將時(shí)間作為最高優(yōu)先級(jí)來(lái)處理,通過(guò)提高區(qū)間數(shù)據(jù)實(shí)時(shí)查詢效率來(lái)處理這種大規(guī)模數(shù)據(jù),并帶來(lái)性能的提升,包括:每秒寫入速度,能夠支撐的設(shè)備指標(biāo)量,讀取數(shù)據(jù)效率和非常高的存儲(chǔ)壓縮比。而時(shí)間序列數(shù)據(jù)在技術(shù)領(lǐng)域的關(guān)注度也日益提升。
數(shù)據(jù)來(lái)源:DBengine 2018.9月報(bào)告
(2)可用性:TSDB通常還包括一些共通的對(duì)時(shí)間序列數(shù)據(jù)分析的功能和操作:數(shù)據(jù)保留策略、連續(xù)查詢、靈活的時(shí)間聚合等。以及很好的擴(kuò)展性。比如常見(jiàn)的時(shí)序降精度和聚合計(jì)算,而非時(shí)序數(shù)據(jù)庫(kù)都不具備這個(gè)能力。這就是為什么企業(yè)開發(fā)人員越來(lái)越多地采用時(shí)間序列數(shù)據(jù)庫(kù),并將它們用于各種使用場(chǎng)景。
使用阿里云TSDB 的理由
阿里巴巴業(yè)務(wù)覆蓋面廣,諸如 電商交易跟蹤, 容器指標(biāo)監(jiān)控, 服務(wù)監(jiān)控,物流配送跟蹤,智慧園區(qū)的智能設(shè)備監(jiān)控等對(duì)時(shí)序數(shù)據(jù)庫(kù)存在強(qiáng)烈的需求,選擇阿里云 TSDB 是因?yàn)榫邆淙缦碌膬?yōu)勢(shì):
高性能
TSDB具有高效的吞吐能力,實(shí)際壓測(cè)對(duì)比,TSDB 的讀取效率比開源的OpenTSDB 和InfluxDB 讀取效率要高出一個(gè)數(shù)量級(jí),實(shí)際業(yè)務(wù)上過(guò)用TSDB 來(lái)代替?zhèn)鹘y(tǒng)的基于Hbase的方案,整體機(jī)器成本縮減了50%以上。
數(shù)據(jù)存儲(chǔ)成本更低?
時(shí)序數(shù)據(jù)都是持續(xù)寫入的,任何一個(gè)數(shù)據(jù)的變化都會(huì)記錄到時(shí)序數(shù)據(jù)庫(kù),所以相比較OLTP類的數(shù)據(jù)庫(kù),對(duì)于數(shù)據(jù)庫(kù)的容量要求是PB級(jí)別。TSDB 可以做到最高10:1的無(wú)損壓縮效率。大大降低了業(yè)務(wù)的存儲(chǔ)成本。
分析能力強(qiáng)?
時(shí)序最核心的能力在于數(shù)據(jù)分析能力,TSDB 提供專業(yè)全面的時(shí)序數(shù)據(jù)計(jì)算函數(shù),支持降采樣、數(shù)據(jù)插值和空間聚合計(jì)算,能滿足各種復(fù)雜的業(yè)務(wù)數(shù)據(jù)查詢場(chǎng)景。百萬(wàn)級(jí)別數(shù)據(jù)點(diǎn)聚合分析秒級(jí)完成。
功能完備
時(shí)序數(shù)據(jù)庫(kù)支持豐富的計(jì)算能力,如降精度和聚合計(jì)算。
降精度
我們看一個(gè)降精度例子, 園區(qū)管理員要把園區(qū)所有的照明燈的用電量數(shù)據(jù)采集起來(lái),進(jìn)行統(tǒng)一的監(jiān)控分析,達(dá)到節(jié)能管控的目的。如果管理員要查看最近24小時(shí)耗電量的時(shí)候,那么可以直接從TSDB里獲取原始數(shù)據(jù)查看用電量趨勢(shì)。 而管理員要查看最近3年的用電量趨勢(shì)的時(shí)候,管理員可以隨機(jī)按照“天”,“周”,“月”這些比較粗粒度的時(shí)間精度來(lái)進(jìn)行數(shù)據(jù)計(jì)算,所有降精度的數(shù)據(jù)通過(guò)原始小時(shí)數(shù)據(jù)按照時(shí)序提供的函數(shù)(如平均求和,最大值,最小值等)計(jì)算出來(lái),而所有的計(jì)算過(guò)程由時(shí)序數(shù)據(jù)庫(kù)“包辦”,應(yīng)用可以直接獲取計(jì)算結(jié)果。
聚合計(jì)算
如果管理員要查看某個(gè)具體樓層的用電量的時(shí)候,那么只需把樓層信息請(qǐng)求到TSDB,就可以實(shí)時(shí)獲取所需樓層所有燈的用電量。 那么如果管理員查看飛利浦品牌的耗電量的時(shí)候,只需傳遞品牌值到TSDB即可,按照?qǐng)@區(qū)名稱也可以統(tǒng)計(jì)。所以時(shí)序聚合提供了強(qiáng)大非常靈活的能力,完全可以隨機(jī)定義查詢聚合的緯度,實(shí)時(shí)的獲取不同分析緯度的查詢結(jié)果。而不要用戶主動(dòng)創(chuàng)建任何索引信息。
時(shí)空分析
隨著車聯(lián)網(wǎng)以及智能交通和新零售配送相關(guān)行業(yè)發(fā)展,地理位置信息類型的數(shù)據(jù)存儲(chǔ)和分析場(chǎng)景也日漸顯現(xiàn),技術(shù)領(lǐng)域稱為“時(shí)空分析”。
車聯(lián)網(wǎng)的管理人員需要清楚的知道在當(dāng)天有多少車輛在運(yùn)營(yíng)區(qū)域內(nèi)行使,有多少車輛駛出了運(yùn)營(yíng)區(qū)域,每個(gè)車輛的行使軌跡是怎樣的,進(jìn)行全局的車輛管理。政府的管理人員需要清楚當(dāng)天城區(qū)內(nèi)人員流動(dòng)的熱力分布趨勢(shì),以提升城市管理的效率。新零售的配送管理員需要知道配送員是否按照規(guī)定在區(qū)域內(nèi)配送,配送員的配送軌跡如何,以便于做管理和配送路徑的優(yōu)化。這些都依賴時(shí)空分析能力。
TSDB 即將發(fā)布時(shí)空分析功能,提供地理位置信息類型數(shù)據(jù)的存儲(chǔ)和分析。滿足軌跡追蹤,空間位置統(tǒng)計(jì)分析的業(yè)務(wù)需求。
時(shí)序洞察
數(shù)據(jù)可視化是呈現(xiàn)數(shù)據(jù)分析結(jié)果的重要一環(huán),TSDB 提供了基礎(chǔ)的可視化功能時(shí)序洞察,可以實(shí)時(shí)的提供給用戶交互式的數(shù)據(jù)分析過(guò)程。用戶無(wú)需開發(fā)任何的代碼,就可以完成數(shù)據(jù)查詢和分析,同時(shí)直觀的看到數(shù)據(jù)的趨勢(shì)效果。
快速體驗(yàn)阿里云TSDB
TSDB 新發(fā)布的時(shí)序洞察,能夠通過(guò)demo 數(shù)據(jù)的導(dǎo)入,只需三個(gè)步驟,就可以快速體驗(yàn)交互式的時(shí)序數(shù)據(jù)分析能力:
第一步,創(chuàng)建TSDB 實(shí)例
第二步,進(jìn)行demo數(shù)據(jù)導(dǎo)入
第三步,創(chuàng)建時(shí)序洞察, 進(jìn)行數(shù)據(jù)分析
#阿里云開年Hi購(gòu)季#幸運(yùn)抽好禮!
點(diǎn)此抽獎(jiǎng):https://www.aliyun.com/acts/product-section-2019/yq-lottery?utm_content=g_1000042901
原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。
總結(jié)
以上是生活随笔為你收集整理的阿里云发布时间序列数据库TSDB,关于时序你了解多少?的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 机器学习与数据科学决策树指南
- 下一篇: 阿里云重磅发布RDS for SQL S