tps 数据库写并发衡量_MPP数据库简介
1、先了解下OLTP與OLAP區(qū)別
OLTP(OnLine Transaction Processing ,聯(lián)機事務處理)系統(tǒng)
例如mysql。擅長事務處理,在數(shù)據(jù)操作中保持著很強的一致性和原子性 ,能夠很好的支持頻繁的數(shù)據(jù)插入和修改 ,但是,一旦數(shù)據(jù)量過大,OLTP便力不從心了。
OLAP(On-Line Analytical Processing,聯(lián)機分析處理)系統(tǒng)
例如Greenplum。不特別關心對數(shù)據(jù)進行輸入、修改等事務性處理,而是關心對已有 的大量數(shù)據(jù)進行多維度的、復雜的分析的一類數(shù)據(jù)系統(tǒng) 。
2、什么是MPP數(shù)據(jù)庫?(Massively Parallel Processing)
MPP架構(gòu)是將任務并行的分散到多個服務器和節(jié)點上,在每個節(jié)點上計算完成后,將各自部分的結(jié)果匯總在一起得到最終的結(jié)果。采用MPP架構(gòu)的數(shù)據(jù)庫稱為MPP數(shù)據(jù)庫。
3、為什么需要MPP數(shù)據(jù)庫?
3.1 海量數(shù)據(jù)的分析需求
傳統(tǒng)數(shù)據(jù)庫無法支持大規(guī)模集群與PB級別數(shù)據(jù)量
單臺機器性能受限、成本高昂,擴展性受限
3.2 支持復雜的結(jié)構(gòu)化查詢(這里是重點)
復雜查詢經(jīng)常使用多表聯(lián)結(jié)、全表掃描等,牽涉的數(shù)據(jù)量往往十分龐大;支持復雜sql查詢和支持大數(shù)據(jù)規(guī)模;
3.3 Hadoop技術的先天不足
Hive等sql-on-hadoop性能太慢,分析場景不一樣,SQL兼容性與支持不足
4、MPP數(shù)據(jù)庫應用領域
大數(shù)據(jù)分析:MPP數(shù)據(jù)庫做大數(shù)據(jù)計算或分析平臺非常適合,例如:數(shù)據(jù)倉庫系統(tǒng)、歷史數(shù)據(jù)管理系統(tǒng)、數(shù)據(jù)集市等。
有很強的并行數(shù)據(jù)計算能力和海量數(shù)據(jù)存儲能力,但是他不擅長高頻的小規(guī)模數(shù)據(jù)插入、修改、刪除,每次事務處理的數(shù)據(jù)量不大。這類數(shù)據(jù)衡量指標是TPS,適用的系統(tǒng)是OLTP數(shù)據(jù)庫。
-----
所以,報表統(tǒng)計分析、運維統(tǒng)計數(shù)據(jù),快速生成報表展示都可以使用mpp數(shù)據(jù)庫。
符合幾個條件:不需要更新數(shù)據(jù),不需要頻繁重復離線計算,不需要并發(fā)大。
有上百億以上離線數(shù)據(jù),不更新,結(jié)構(gòu)化,需要各種復雜分析的sql語句,那就可以選擇他。幾秒、幾十秒立即返回你想要的分析結(jié)果。例如sum,count,group by,order,好幾層查詢嵌套,在幾百億數(shù)據(jù)里分分鐘出結(jié)果
這類的數(shù)據(jù)庫有,clickhouse,greenplum
《新程序員》:云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結(jié)
以上是生活随笔為你收集整理的tps 数据库写并发衡量_MPP数据库简介的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ug后处理如何加密_什么叫UG编程?UG
- 下一篇: 一个项目中能提出哪些数据库优化_如何有效