阿里云服务平台,分布式架构云平台解决方案
技術(shù)架構(gòu)
分布式架構(gòu)云平臺(tái)在充分分析IT技術(shù)發(fā)展趨勢,遵循集中化、標(biāo)準(zhǔn)化、集成化、可靠化和可擴(kuò)展化的設(shè)計(jì)原則,以價(jià)值創(chuàng)造為使命,以規(guī)范化、一體化、智能化的云平臺(tái)為支撐,實(shí)現(xiàn)信息的透明共享、業(yè)務(wù)的敏捷協(xié)同、管控及時(shí)、決策科學(xué)為設(shè)計(jì)目標(biāo),選擇傳統(tǒng)成熟的J2EE、SOA、應(yīng)用集成和BI信息技術(shù)和新一代的云計(jì)算、大數(shù)據(jù)、移動(dòng)應(yīng)用信息技術(shù)相結(jié)合的技術(shù)路線。
分布式架構(gòu)云平臺(tái)規(guī)劃設(shè)計(jì)了集約化、云架構(gòu)動(dòng)態(tài)配置的企業(yè)IT基礎(chǔ)設(shè)施;
共享化、集中數(shù)據(jù)存儲(chǔ)管理的企業(yè)數(shù)據(jù)資源服務(wù);
組件化、平臺(tái)化、柔性集成的企業(yè)應(yīng)用支撐服務(wù);
標(biāo)準(zhǔn)化、服務(wù)化、整合智能的企業(yè)業(yè)務(wù)應(yīng)用服務(wù);
一站式、多終端服務(wù)的企業(yè)信息展示交互服務(wù)等技術(shù)層,每層又包括若干成熟穩(wěn)定的技術(shù)組件,各技術(shù)層,自下而上,層層支撐,各技術(shù)組件松散耦合,互聯(lián)互通,科學(xué)高效,易于擴(kuò)展,減少了信息孤島,增強(qiáng)了系統(tǒng)的標(biāo)準(zhǔn)化和集約化,優(yōu)化了系統(tǒng)的用戶體驗(yàn),提高工作效率。
分布式架構(gòu)云平臺(tái)技術(shù)設(shè)計(jì)原則
先進(jìn)性原則
在整體設(shè)計(jì)和實(shí)現(xiàn)上,依托云計(jì)算、大數(shù)據(jù)領(lǐng)域的知名開源項(xiàng)目(如Hadoop、Spark、OpenStack等)。由于遵循了業(yè)界廣泛認(rèn)可的事實(shí)標(biāo)準(zhǔn),可以充分借力全球生態(tài)圈的資源,推動(dòng)軟硬件分層解耦,不斷提升兼容性。兼容多種異構(gòu)物理設(shè)備,避免廠商綁定。數(shù)據(jù)層面,支持多種數(shù)據(jù)源,包括結(jié)構(gòu)化/非結(jié)構(gòu)化類型的數(shù)據(jù)處理,數(shù)據(jù)本身、數(shù)據(jù)計(jì)算也都支持開放共享。優(yōu)先采用先進(jìn)成熟的技術(shù)組件,搭建穩(wěn)定并且高效的大數(shù)據(jù)云計(jì)算管理平臺(tái),并在平臺(tái)基礎(chǔ)上實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)采集與分析的相關(guān)業(yè)務(wù)應(yīng)用。平臺(tái)設(shè)計(jì)以滿足當(dāng)前的業(yè)務(wù)功能為主,兼顧考慮未來發(fā)展的趨勢。
可靠性原則
可靠性包括整體可靠性、數(shù)據(jù)可靠性和單一設(shè)備可靠性三個(gè)層次。通過大數(shù)據(jù)云計(jì)算平臺(tái)的分布式計(jì)算、存儲(chǔ)架構(gòu),從整體系統(tǒng)上提高可靠性,降低系統(tǒng)對(duì)單設(shè)備可靠性的要求;平臺(tái)設(shè)計(jì)方面保證基于hadoop和虛擬化的集群系統(tǒng)平臺(tái)的穩(wěn)定與高效,提供針對(duì)現(xiàn)有底層硬件設(shè)備的Hadoop和虛擬化相關(guān)技術(shù)組件的調(diào)優(yōu),以及對(duì)于整體集群的配套監(jiān)控系統(tǒng)的搭建和集群維護(hù)與管理等相關(guān)方案;應(yīng)用設(shè)計(jì)方面采用明確的應(yīng)用分層架構(gòu),一方面可實(shí)現(xiàn)上層數(shù)據(jù)應(yīng)用與底層基礎(chǔ)數(shù)據(jù)的依賴分離,實(shí)現(xiàn)應(yīng)用架構(gòu)上的解耦;另一方面可提高上層數(shù)據(jù)的分析效率與降低運(yùn)行成本。采用相關(guān)的容錯(cuò)技術(shù)和故障處理技術(shù),保證數(shù)據(jù)應(yīng)用的安全可靠,保證數(shù)據(jù)分析平臺(tái)可用性達(dá)到使用要求。
安全保密性
采用統(tǒng)一的用戶認(rèn)證,統(tǒng)一的用戶、權(quán)限管理和控制、密碼控制等多種安全和保密措施。為保證信息的安全性,對(duì)內(nèi)部網(wǎng)上的信息建立符合安全要求的防火墻、入侵檢測、數(shù)字證書、防病毒、數(shù)據(jù)加密技術(shù)等,能夠嚴(yán)格有效地防止外來非法用戶入侵,能夠避免遭受網(wǎng)絡(luò)攻擊,防止失密情況的發(fā)生,防止非法侵入帶來的損失。
可擴(kuò)展性
應(yīng)用開發(fā)平臺(tái)采用模塊化建設(shè)和擴(kuò)展模式。支持小規(guī)模起步,線性擴(kuò)展,以滿足不同場景,不同投資計(jì)劃和規(guī)模的要求;隨著數(shù)據(jù)規(guī)模的擴(kuò)大、應(yīng)用的完善,現(xiàn)在數(shù)據(jù)平臺(tái)能夠在不影響當(dāng)前用戶正常使用的情況下,靈活、方便地進(jìn)行集群擴(kuò)容。
開放性
云計(jì)算平臺(tái)是在成熟落地的方案上完全自主研發(fā),主要應(yīng)用開源技術(shù)。
分布式關(guān)鍵技術(shù)
微服務(wù)
將系統(tǒng)功能劃分為最小服務(wù)單元,完成單一功能,每個(gè)服務(wù)獨(dú)立部署,服務(wù)間通過互相調(diào)用形成完整業(yè)務(wù)邏輯。主要特點(diǎn):高內(nèi)聚、低耦合,開閉原則,高效率,彈性計(jì)算。
分布式事務(wù)
通過消息機(jī)制和分布式鎖實(shí)現(xiàn)分布式事務(wù),在微服務(wù)架構(gòu)中保證業(yè)務(wù)邏輯的完整性。主要特點(diǎn):消息隊(duì)列,原子操作,回滾機(jī)制(跨機(jī)器調(diào)用)。
將任務(wù)分配在更多的節(jié)點(diǎn)上去運(yùn)行,跨機(jī)器的調(diào)用取代原來單個(gè)節(jié)點(diǎn)內(nèi)、進(jìn)程內(nèi)的調(diào)用。主要特點(diǎn):多節(jié)點(diǎn)化,同步+異步(伸縮與容錯(cuò))。
橫向擴(kuò)展代替縱向擴(kuò)展,使得伸縮性變得更好,整體容錯(cuò)性大大提升。主要特點(diǎn):一致性哈希,多副本。
平臺(tái)關(guān)鍵組件
企業(yè)服務(wù)總線
采用Dubbo+Zookeeper技術(shù)作為企業(yè)服務(wù)總線,對(duì)所有微服務(wù)進(jìn)行管理,服務(wù)總線具有以下特點(diǎn):
自動(dòng)發(fā)現(xiàn)和注冊(cè)服務(wù),即插即用。
可為微服務(wù)提供負(fù)載均衡策略,需要其他負(fù)載均衡軟件。
統(tǒng)計(jì)與監(jiān)控服務(wù)調(diào)用情況并記錄響應(yīng)時(shí)間。為程序調(diào)優(yōu)及擴(kuò)展提供統(tǒng)計(jì)數(shù)據(jù)。
消息隊(duì)列
平臺(tái)的消息隊(duì)列采用Kafka技術(shù),Kafka是高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)。主要用于:
服務(wù)之間的消息通訊,實(shí)現(xiàn)完整的業(yè)務(wù)邏輯。
提供大并發(fā)業(yè)務(wù)的隊(duì)列服務(wù),避免大并發(fā)下服務(wù)崩潰問題。
分布式文件系統(tǒng)
平臺(tái)采用HDFS和FastDFS的分布式文件系統(tǒng)。
HDFS主要解決超大文件的存儲(chǔ)(如日志文件、視頻文件等)及HBase等大數(shù)據(jù)存儲(chǔ)。主要分為NameNode和DataNode,NameNode存儲(chǔ)文件的META信息,DataNode存儲(chǔ)數(shù)據(jù)塊??蛻舳苏{(diào)用時(shí)從Name節(jié)點(diǎn)讀取到文件的多個(gè)數(shù)據(jù)塊信息,從多臺(tái)服務(wù)器上獲取后合并為一個(gè)文件。FastDFS是輕量級(jí)的分布式文件解決方案,主要解決存儲(chǔ)海量小文件,如上傳圖片、上傳文件、資源文件等等海量的小文件,這些文件不適合HDFS存儲(chǔ),所以采用FastDFS存儲(chǔ)。
云服務(wù)器IAAS
平臺(tái)采用OpenStack系列技術(shù),支持Xen/KVM/Hyper-V/ESX等虛擬化技術(shù)。為分布式和大數(shù)據(jù)提供彈性計(jì)算服務(wù)。
總結(jié)
以上是生活随笔為你收集整理的阿里云服务平台,分布式架构云平台解决方案的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: unison 安装使用
- 下一篇: 数组(笔记九)