tps 数据库写并发衡量_MPP数据库简介
1、先了解下OLTP與OLAP區(qū)別
OLTP(OnLine Transaction Processing ,聯機事務處理)系統
例如mysql。擅長事務處理,在數據操作中保持著很強的一致性和原子性 ,能夠很好的支持頻繁的數據插入和修改 ,但是,一旦數據量過大,OLTP便力不從心了。
OLAP(On-Line Analytical Processing,聯機分析處理)系統
例如Greenplum。不特別關心對數據進行輸入、修改等事務性處理,而是關心對已有 的大量數據進行多維度的、復雜的分析的一類數據系統 。
2、什么是MPP數據庫?(Massively Parallel Processing)
MPP架構是將任務并行的分散到多個服務器和節(jié)點上,在每個節(jié)點上計算完成后,將各自部分的結果匯總在一起得到最終的結果。采用MPP架構的數據庫稱為MPP數據庫。
3、為什么需要MPP數據庫?
3.1 海量數據的分析需求
傳統數據庫無法支持大規(guī)模集群與PB級別數據量
單臺機器性能受限、成本高昂,擴展性受限
3.2 支持復雜的結構化查詢(這里是重點)
復雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大;支持復雜sql查詢和支持大數據規(guī)模;
3.3 Hadoop技術的先天不足
Hive等sql-on-hadoop性能太慢,分析場景不一樣,SQL兼容性與支持不足
4、MPP數據庫應用領域
大數據分析:MPP數據庫做大數據計算或分析平臺非常適合,例如:數據倉庫系統、歷史數據管理系統、數據集市等。
有很強的并行數據計算能力和海量數據存儲能力,但是他不擅長高頻的小規(guī)模數據插入、修改、刪除,每次事務處理的數據量不大。這類數據衡量指標是TPS,適用的系統是OLTP數據庫。
-----
所以,報表統計分析、運維統計數據,快速生成報表展示都可以使用mpp數據庫。
符合幾個條件:不需要更新數據,不需要頻繁重復離線計算,不需要并發(fā)大。
有上百億以上離線數據,不更新,結構化,需要各種復雜分析的sql語句,那就可以選擇他。幾秒、幾十秒立即返回你想要的分析結果。例如sum,count,group by,order,好幾層查詢嵌套,在幾百億數據里分分鐘出結果
這類的數據庫有,clickhouse,greenplum
《新程序員》:云原生和全面數字化實踐50位技術專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的tps 数据库写并发衡量_MPP数据库简介的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ug后处理如何加密_什么叫UG编程?UG
- 下一篇: 一个项目中能提出哪些数据库优化_如何有效