SAP HANA解读-2012 SAP商业同略会分享
?7月26日和27日,我受邀參加了SAP在國家會議中心舉辦的“蘊韜略促轉(zhuǎn)變共發(fā)展”為主題的中國商業(yè)同略會,下面就參會的一些感想和大家分享一下。
?? SAP中國商業(yè)同略會是第二次在北京舉辦,此次大會匯聚國內(nèi)外知名商業(yè)領(lǐng)袖、企業(yè)高層、行業(yè)權(quán)威、專家學(xué)者,既有主題演講又有分會場專題演講和互動交流體驗,可以說本次大會內(nèi)容豐富,精彩紛呈!
? 本次大會我比較關(guān)注SAP HANA技術(shù),在主題演講和分會場專題演講中眾多嘉賓的發(fā)言中這個詞的頻率出現(xiàn)最高。從專業(yè)性角度上來說,談SAP HANA最好的一場是26日下午在211室的“SAP旗下的數(shù)據(jù)庫五虎將”,在這里我很高興見到了SAP亞太區(qū)技術(shù)總監(jiān)盧東明。在會議上,各位專家的講解都比較好,場下還有人不斷的圍繞SAP HANA提問題,氣氛非常積極熱烈和活躍。
? 說到SAP HANA,我想大家和我一樣都想知道它是怎樣的一種數(shù)據(jù)平臺以及對企業(yè)現(xiàn)有的業(yè)務(wù)和綜合管理將產(chǎn)生什么樣的影響。首先SAP? HANA是一個軟硬件結(jié)合體,提供高性能的數(shù)據(jù)查詢功能,用戶可以直接對大量實時業(yè)務(wù)數(shù)據(jù)進行查詢和分析,而不需要對業(yè)務(wù)數(shù)據(jù)進行建模、聚合等。從硬件上來說,新的HANA計算平臺擁有100 IBM X5節(jié)點、100TB 主內(nèi)存、 4000個X86內(nèi)核,應(yīng)該說已經(jīng)是很頂級的超一流配置了。從軟件上來說,SAP HANAHANA的計算引擎(Computing Engine)是其核心,負責(zé)解析并處理對大量數(shù)據(jù)的各類CRUDQ操作,支持SQL和MDX語句、SAP和non-SAP數(shù)據(jù)。HANA的快就在于用大內(nèi)存提供內(nèi)存數(shù)據(jù)庫,并在內(nèi)存數(shù)據(jù)庫里采用列式存儲從而可以將更多的數(shù)據(jù)裝進內(nèi)存,從而快速處理用戶復(fù)雜的查詢請求,快速返回查詢結(jié)果。
?在這里,現(xiàn)場的來賓問了一個問題,行式和列式在內(nèi)存數(shù)據(jù)庫中是如何實現(xiàn)的?郭磊對這個問題是這樣解答的。傳統(tǒng)的行式數(shù)據(jù)庫,是按照行存儲的,維護大量的索引和物化視圖,無論是在時間處理還是空間存儲方面成本都很高。而列式數(shù)據(jù)庫恰恰相反,列式數(shù)據(jù)庫的數(shù)據(jù)是按照列存儲,每一列單獨存放,數(shù)據(jù)即是索引。只訪問查詢涉及的列,大大降低了系統(tǒng)I/O,每一列由于數(shù)據(jù)類型一致,數(shù)據(jù)特征相似,極大方便壓縮。行式數(shù)據(jù)庫擅長隨機讀操作,列式數(shù)據(jù)庫則更擅長大批量數(shù)據(jù)量查詢。就每張數(shù)據(jù)表而言,行式和列式在硬盤、陣列、存儲設(shè)備上是兩種不同的存儲格式,需要轉(zhuǎn)換的時候比較大的表比較耗時和費事。但是HANA技術(shù)是把要讀取的表裝載到內(nèi)存中,然后根據(jù)算法進行行列轉(zhuǎn)換,快速讀取和返回查詢結(jié)果。這里他說了一個細節(jié),就是一張表在內(nèi)存中并不能同時被指定為行式和列式兩種存儲格式,這是要根據(jù)需要在內(nèi)存中進行轉(zhuǎn)換的。
? 另外來賓們比較關(guān)注的就是宕機后,內(nèi)存中的數(shù)據(jù)會不會丟及重新從硬盤寫會內(nèi)存需要多長時間?盧東明對這個問題進行了解答。大家都知道內(nèi)存數(shù)據(jù)庫一旦崩潰,數(shù)據(jù)不復(fù)存在。因此HANA內(nèi)存數(shù)據(jù)包含了DATA和LOG兩個部分,它在硬件層面提供了一個閃存(2-4TB)用來同步保存內(nèi)存數(shù)據(jù)庫中的LOG信息并生成SAVE POINT,然后寫入真正的持久的硬盤存儲。當(dāng)然即使是突然斷電宕機了,我們可以得到那個時間點的SAVE POINT,根據(jù)這個信息將未寫入的信息進行恢復(fù)導(dǎo)入磁盤。除了這些,同時還要有健壯的容錯和Failover機制,保證一個節(jié)點崩潰或宕機,同一組中的替補節(jié)點能立即頂替工作。一種解決方案是構(gòu)筑分布式內(nèi)存數(shù)據(jù)庫還有一種方案就是內(nèi)存數(shù)據(jù)庫的實時復(fù)制功能。宕機后,重新寫入磁盤是分步驟分批的,工作原理就是先加載需要的表再逐步加載其他需要的表,默認時間是5分鐘,當(dāng)然也要根據(jù)具體的情況來看(比如光纖盤、高速存儲等好的硬件),時間也可以比5分鐘更短。
?最后有位EMC的工程師問到“多數(shù)據(jù)中心之間HANA的平衡能力”,這個郭磊簡單的做了回答。比如HANA計算平臺是10個節(jié)點,分布在各處,這10個節(jié)點就是一個分布式計算平臺,其中有一個是MASTER服務(wù)器,其他是SLAVE。而且這些節(jié)點之間都是萬兆交換機來互聯(lián),以保證節(jié)點之間的快速調(diào)度和平衡,一個節(jié)點宕了其他節(jié)點都能快速負載和分擔(dān)其計算。
談到企業(yè)為何使用HANA時,嘉賓總結(jié)了10點:1、處理海量數(shù)據(jù);2、應(yīng)對非常復(fù)雜的SQL查詢;3、快速響應(yīng)需求;4、解決結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)挑戰(zhàn);5、即時響應(yīng)新生成的查詢;6、不構(gòu)建Cube;7、需要實時的業(yè)務(wù)分析;8、目前平臺無法支持一些應(yīng)用程序;9、需要對系統(tǒng)環(huán)境進行簡化,讓新舊應(yīng)用運行在同一架構(gòu)下;10、能夠提供處理器與刀片服務(wù)器的無限擴展能力。
短暫的兩天大會結(jié)束了,可是有關(guān)SAP HANA的思考仍在我的心頭縈繞,可以想見數(shù)據(jù)庫的新發(fā)展和高性能計算正踏歌而來,路漫漫終其將至。
SAP HANA不是一個終點,它正是開啟未來高性能計算的一個起點。不遠的未來,讓我們共同努力,套用會上的一句經(jīng)典“未來不是歷史的延長,未來可以由我們自由創(chuàng)造”。
總結(jié)
以上是生活随笔為你收集整理的SAP HANA解读-2012 SAP商业同略会分享的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: sql取上个月年月_sql 查询本年、本
- 下一篇: WordPress 添加网页图标