日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

大型主机的发展

發(fā)布時(shí)間:2023/12/8 编程问答 58 豆豆
生活随笔 收集整理的這篇文章主要介紹了 大型主机的发展 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

IBM前董事長(zhǎng)路易斯.郭士納的自傳——《誰說大象不會(huì)跳舞》,講述了IBM成功戰(zhàn)略轉(zhuǎn)型的過程。原以為“身材巨重”的大型主機(jī)(Mainframe)會(huì)自成一脈,一直封閉在自己保守的世界中,不想今年IBM的這塊業(yè)務(wù)也與時(shí)俱進(jìn),開始與RISC小型機(jī)、X86服務(wù)器實(shí)現(xiàn)集成與融合。如同上世紀(jì)九十年代郭士納領(lǐng)導(dǎo)危機(jī)重重的IBM實(shí)現(xiàn)戰(zhàn)略轉(zhuǎn)型一般,今天的大型主機(jī)也開始了20年來最重大的一次變身。

IBM前董事長(zhǎng)路易斯.郭士納的自傳——《誰說大象不會(huì)跳舞》,講述了IBM成功戰(zhàn)略轉(zhuǎn)型的過程。原以為“身材巨重”的大型主機(jī)(Mainframe)會(huì)自成一脈,一直封閉在自己保守的世界中,不想今年IBM的這塊業(yè)務(wù)也與時(shí)俱進(jìn),開始與RISC小型機(jī)、X86服務(wù)器實(shí)現(xiàn)集成與融合。如同上世紀(jì)九十年代郭士納領(lǐng)導(dǎo)危機(jī)重重的IBM實(shí)現(xiàn)戰(zhàn)略轉(zhuǎn)型一般,今天的大型主機(jī)也開始了20年來最重大的一次變身。

IBM的員工正在安裝zEnterprise大型機(jī)

  一、主角登場(chǎng):zEnterprise

  談到大型機(jī),很多人會(huì)把它當(dāng)成上世紀(jì)六七十年代的事物,因?yàn)樵诮裉爝@樣一個(gè)網(wǎng)絡(luò)化、分布式計(jì)算、云計(jì)算流行的時(shí)代,很少有人會(huì)主動(dòng)地關(guān)注大型機(jī),甚至市場(chǎng)上有很多唱衰大型機(jī)的聲音。不過,大型機(jī)并沒有消失,憑借極高的可靠性、可用性、安全性等特色,大型機(jī)仍然活躍在銀行、保險(xiǎn)、航空以及500強(qiáng)大企業(yè)的后臺(tái)數(shù)據(jù)中心里,運(yùn)行著各領(lǐng)域最關(guān)鍵、最核心的那一塊業(yè)務(wù),據(jù)稱全球企業(yè)和政府超過80%的數(shù)據(jù)都存儲(chǔ)在大型主機(jī)上面,全球財(cái)富1000強(qiáng)企業(yè)中95%左右都在使用IBM的信息管理系統(tǒng)(IMS)對(duì)最關(guān)鍵的核心數(shù)據(jù)進(jìn)行管理。

  IBM的大型機(jī)有著非常悠久的歷史,迄今已經(jīng)走了46年,先后演變了四代,如1964年的System/360、1990年的System/390、2000年的eServer z900以及下面將要介紹的2010年推出的zEnterprise。IBM在這一領(lǐng)域鮮有對(duì)手,有著很強(qiáng)的競(jìng)爭(zhēng)優(yōu)勢(shì)和市場(chǎng)份額,據(jù)IDC統(tǒng)計(jì),2010年全球服務(wù)器市場(chǎng)銷售收入將達(dá)到490億美元,其中大型機(jī)出貨量雖然只占0.02%,但收入?yún)s將達(dá)到45億美元,占9.18%。在大型機(jī)市場(chǎng),IBM今年的收入預(yù)計(jì)會(huì)達(dá)到33億美元,占到近四分之三的市場(chǎng)。

  7月下旬,IBM正式發(fā)布了其最新一代的大型主機(jī)zEnterprise。zEnterprise System由三大部分組成:IBM zEnterprise 196 (z196)大型機(jī)、IBM zEnterprise BladeCenter Extension (zBX)刀片擴(kuò)展機(jī)柜和IBM zEnterprise Unified Resource Manager (Unified Resource Manager,zManager)管理固件,zManager能夠管理跨越System z、特定的POWER7和System x服務(wù)器上運(yùn)行的工作負(fù)載,實(shí)現(xiàn)資源的統(tǒng)一管理。

zEnterprise System由三大部分組成

  據(jù)IBM宣稱,zEnterprise系統(tǒng)耗時(shí)3年研發(fā),花費(fèi)15億美元、橫跨三大洲,由5000多位IBM員工24小時(shí)不間斷工作了共3100萬小時(shí)開發(fā)而成。這個(gè)用3年時(shí)間加15億美元換來的成果標(biāo)志著20年來IBM大型主機(jī)最重大的設(shè)計(jì)變革,并且在數(shù)據(jù)中心內(nèi)將大型主機(jī)強(qiáng)大的可靠性和安全性特點(diǎn)擴(kuò)展到額外的系統(tǒng)上。

IBM歷代大型機(jī)關(guān)鍵技術(shù)創(chuàng)新歷程

IBM歷代大型機(jī)在CPU處理能力、內(nèi)存容量、I/O帶寬等方面的平衡性“擴(kuò)張”

  下面我將帶你一起來揭開IBM最新一代大型主機(jī)的神秘面紗!需要說明的是,對(duì)于大型機(jī),筆者水平有限,了解不多,本文參考了N多中英文資料而成,可能會(huì)存在一些理解上的謬誤,還請(qǐng)大家指點(diǎn)。如果你對(duì)IBM新一代大型機(jī)感興趣,不妨下載長(zhǎng)達(dá)428頁的《IBM zEnterprise System技術(shù)指南》和38頁的《IBM zEnterprise System: 面向今日異構(gòu)業(yè)務(wù)應(yīng)用的智能架構(gòu)》紅皮書去細(xì)細(xì)研磨,你也可以訪問IBM System z官方網(wǎng)站,或者去ChinaUnix技術(shù)社區(qū)的AIX和AS400專區(qū)發(fā)起討論。


  二、為什么改變:與時(shí)俱進(jìn)

  首先我們有必要看看大型主機(jī)與分布式服務(wù)器這對(duì)“老冤家”的主要區(qū)別:

  分布式計(jì)算初期購置成本低,經(jīng)常一個(gè)服務(wù)器上跑單一應(yīng)用或數(shù)據(jù)庫,資源利用率低,能耗和占地空間大,但非常流行,相應(yīng)的技術(shù)人才一抓一大把;而大型機(jī)的集成度非常高,持續(xù)利用率可以接近100%,虛擬化和負(fù)載管理的技術(shù)更加成熟,更安全,能耗和占地空間都較小,但售價(jià)也很昂貴,且懂大型機(jī)的專門技術(shù)管理人才也比較缺乏,為此,IBM正在跟重點(diǎn)高校合作培育大機(jī)人才,如下圖所示:

  當(dāng)然,世界上沒有一種完美的技術(shù)可以解決所有的問題。在過去十年中,通用網(wǎng)絡(luò)、標(biāo)準(zhǔn)化軟硬件大行其道,導(dǎo)致今天的工作負(fù)載環(huán)境發(fā)生根本性變化,許許多多的應(yīng)用——數(shù)據(jù)庫、交易處理、智能分析、WEB互動(dòng)、企業(yè)業(yè)務(wù)等,包括關(guān)鍵核心應(yīng)用,大多部署在異構(gòu)的環(huán)境中——有些應(yīng)用跑在大型機(jī)上,有些應(yīng)用跑在UNIX服務(wù)器和X86分布式平臺(tái)上。正是隨著多層應(yīng)用架構(gòu)以及在異構(gòu)基礎(chǔ)環(huán)境中進(jìn)行部署的方式越來越普遍,System z在設(shè)計(jì)上也開始朝融合方向轉(zhuǎn)變。

  圖示:多種多樣的負(fù)載與多種多樣的后臺(tái)服務(wù)器如何匹配?IBM期待帶有zBX刀片擴(kuò)展機(jī)柜的zEnterprise新一代大型機(jī),加上Tivoli、Systems Director和Unified Resource Manager管理套件,可以讓問題得到“完美”解決。

  圖示:為滿足多層應(yīng)用的不同計(jì)算需求,常常會(huì)導(dǎo)致虛擬資源孤島,IBM zEnterprise充分應(yīng)對(duì)多方面挑戰(zhàn)。

  IBM認(rèn)為,雖然異構(gòu)應(yīng)用越來越普遍,但要想在利用大量分布式組件的同時(shí),還維持系統(tǒng)高級(jí)別的服務(wù)質(zhì)量,特別是針對(duì)關(guān)鍵核心應(yīng)用來說,卻并非易事,需要廠商付出極大的努力和技術(shù)積累。這意味著需要有額外的軟硬件來確保可用性、安全、監(jiān)控和管理,同時(shí)也需要有額外的人力來配置、管理、維護(hù)、調(diào)優(yōu)這樣一個(gè)復(fù)雜多樣的系統(tǒng)。

  圖示:由于IBM zEnterprise整合了大型機(jī)、UNIX、X86三大平臺(tái),支持z/OS、AIX、Linux等操作系統(tǒng),因此應(yīng)用層無須特別改動(dòng)。

System z可以幫助減少長(zhǎng)期運(yùn)行成本

  z196大型機(jī)、zBX刀片機(jī)柜和Unified Resource Manager管理固件一起構(gòu)成zEnterprise系統(tǒng)的一個(gè)節(jié)點(diǎn),使得每個(gè)zEnterprise節(jié)點(diǎn)成為多個(gè)高度虛擬化的異構(gòu)系統(tǒng)的集合,但從管理的角度看是一個(gè)單一的邏輯系統(tǒng),上面可以部署多種工作負(fù)載。

  IBM表示,System z除了幫助客戶降低長(zhǎng)期運(yùn)行成本之外,還可以用來構(gòu)建更智能的系統(tǒng),簡(jiǎn)化數(shù)據(jù)中心管理,在擴(kuò)展基礎(chǔ)架構(gòu)時(shí)不會(huì)增加復(fù)雜性,推動(dòng)業(yè)務(wù)創(chuàng)新和成長(zhǎng)。zEnterprise作為一種“系統(tǒng)的系統(tǒng)”,通過多平臺(tái)整合、管理整合、軟件整合來應(yīng)對(duì)多架構(gòu)數(shù)據(jù)中心和未來私有云建設(shè)面臨的諸多挑戰(zhàn)。

  圖示:zEnterprise的價(jià)值主要體現(xiàn)在幫助CIO應(yīng)對(duì)包括商業(yè)智能分析、虛擬化、風(fēng)險(xiǎn)管理和適應(yīng)性以及應(yīng)用融合幾個(gè)方面的挑戰(zhàn)。


  三、zEnterprise的構(gòu)成

  每套zEnterprise最多可包含8個(gè)節(jié)點(diǎn)(Node),在很多人印象中,節(jié)點(diǎn)可能是指服務(wù)器集群中的某一臺(tái)計(jì)算機(jī)。

  不過,這里提到的“節(jié)點(diǎn)”的概念顯然要大得多,zEnterprise的每個(gè)節(jié)點(diǎn)其實(shí)是一個(gè)更大的完整系統(tǒng),由最新一代的大型機(jī)z196與通用刀片服務(wù)器擴(kuò)展機(jī)柜zBX構(gòu)成的“異構(gòu)”系統(tǒng)。

  zBX中用的刀片可以是基于IBM POWER7處理器的傳統(tǒng)UNIX小型機(jī)服務(wù)器,也可以是基于英特爾處理器的X86服務(wù)器。無論是大型機(jī)、小型機(jī)還是X86服務(wù)器,這三類機(jī)器的資源都通過IBM的“Unified Resource Mangaer”(zManager)進(jìn)行統(tǒng)一管理起來。最大規(guī)模的zEnterprise可以包括8個(gè)z196服務(wù)器和896個(gè)刀片服務(wù)器,如下圖所示:

  下面這張圖顯示的就是一個(gè)完整的zEnterprise系統(tǒng)節(jié)點(diǎn),由1套z196和四個(gè)zBX刀片機(jī)柜構(gòu)成。

  下圖中IBM 紐約Plattekill 的員工Einar Norman (左側(cè))和紐約Rosendale的員工 (右側(cè))Richard Lane在IBM紐約Poughkeepsie的工廠裝運(yùn)IBM全新zEnterprise系統(tǒng)。2010年,IBM在Poughkeepsie的工廠新增加了一個(gè)56000平方英尺、價(jià)值3000萬美元的全新廠房,用于這個(gè)全新系統(tǒng)的生產(chǎn)。

  下圖中IBM紐約Johnson City的員工Larry Terpak(前者)和Poughkeepsie的 員工Chris Wallner (后者)在檢查即將安裝到全新IBM zEnterprise System的外殼。

  下圖中IBM紐約Poughkeepsie的員工James Geuke(主機(jī)上)和紐約Johnson Cit的員工Larry Terpak(主機(jī)旁)在安裝全新IBM zEnterprise System的外殼。


  四、z196大型機(jī)

  通過上面的介紹,我們對(duì)zEnterprise到底長(zhǎng)成什么樣子有了基本的認(rèn)識(shí),下面會(huì)帶你更加深入zEnterprise,分別了解一下z196大型機(jī)、zBX刀片機(jī)柜和管理這一切的“靈魂”——zManager統(tǒng)一資源管理器。

  首先我們來揭開z196的面紗,看看里面的結(jié)構(gòu):

  zEnterprise 196是系統(tǒng)的核心部分,采用5.2GHz超標(biāo)量處理器,最多有96個(gè)核,3TB RAIM內(nèi)存,超過100條新指令,跟前一代System z10相比,容量多60%,成本少35%,Linux應(yīng)用性能提高60%,z/OS應(yīng)用性能提高40%。

  z196是一款平衡設(shè)計(jì)的通用型服務(wù)器,可以同時(shí)適應(yīng)計(jì)算密集型和I/O密集型工作負(fù)載。使用的是42U的EIA標(biāo)準(zhǔn)機(jī)柜,由Frame A(下圖右側(cè),側(cè)重計(jì)算)和Frame Z(下圖左側(cè),側(cè)重I/O)兩個(gè)機(jī)柜組成。

  Frame A里面主要有計(jì)算模塊、I/O模塊、散熱模塊和電源模塊。值得注意的是,這里的計(jì)算模塊稱作“book”,如下圖右上角,最多可以豎插4個(gè)“book”,每個(gè)book里面有處理器、內(nèi)存等。左側(cè)的Frame Z最多可以集成2個(gè)I/O抽屜和2個(gè)I/O籠子。

使用風(fēng)冷散熱

使用水冷散熱


  “book”的概念

  剛才也已經(jīng)提到了,z196里的計(jì)算模塊使用了“book”的概念,每個(gè)z196中可以裝1-4個(gè)book。那book里面又是什么樣子的呢?如下圖所示:

綠框中豎插的4個(gè)模塊象不象4本“書”?

book的實(shí)物結(jié)構(gòu)示意圖

  可見,每個(gè)book其實(shí)就是一個(gè)不帶存儲(chǔ)的簡(jiǎn)化版計(jì)算系統(tǒng),里面有一個(gè)裝有處理器的MCM(多芯片模塊,Multi-Chip Module),有30個(gè)內(nèi)存DIMM,有散熱風(fēng)扇,有電源。MCM中裝有全新設(shè)計(jì)的處理器芯片(IBM稱作處理器單元,processor unit,下面簡(jiǎn)稱PU)、存儲(chǔ)控制芯片(即L4緩存)和I/O連接器。book的邏輯結(jié)構(gòu)圖如下所示:

圖示:內(nèi)存通過3個(gè)內(nèi)存控制單元(MCU)與MCM互連;GX0-GX7是連接HCA(InfiniBand Host Channel Adapter)的I/O總線接口,單向最大速率為10GB/s,支持PCI-E;處理器輔助接口(PSI)用于連接做系統(tǒng)控制用的FSP(Flexible Service Processor)卡;Book之間通過FBC(Fabric book connectivity)專用連接實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)互連。


  大型機(jī)的處理器

  我們接下來打開MCM這個(gè)非常有IBM特色的“心臟”。

  z196中用到的是當(dāng)今世界上單線程性能最快的微處理器——主頻高達(dá)5.2GHz。上圖是IBM Poughkeepsie 的技術(shù)人員Asia Dent正在測(cè)試兩個(gè)多芯片模塊(MCM),它們將分別驅(qū)動(dòng)IBM 全新zEnterprise系統(tǒng)。

  每個(gè)MCM中最多有6顆4核芯設(shè)計(jì)的微處理器芯片(PU),也就是上面提到的處理器單元。另外,MCM中還有兩個(gè)SC(存儲(chǔ)控制)芯片,構(gòu)成由6個(gè)PU共享的192MB L4級(jí)緩存,每一個(gè)模塊每秒可執(zhí)行500億條指令,其結(jié)構(gòu)如下圖所示。依據(jù)型號(hào)不同,每臺(tái)z196中最多有20個(gè)或24個(gè)PU。

  下面我們看看PU里的結(jié)構(gòu)布局,如下圖所示:

  每個(gè)PU中有14億晶體管,有4個(gè)內(nèi)核及L1、L2和L3緩存,每個(gè)核中有6個(gè)類RISC的執(zhí)行單元:2個(gè)整數(shù)單元、2個(gè)加載/存儲(chǔ)單元、1個(gè)二進(jìn)制浮點(diǎn)單元和1個(gè)十進(jìn)制浮點(diǎn)單元,其內(nèi)部結(jié)構(gòu)如下圖所示:

內(nèi)核結(jié)構(gòu)示意圖

  可見,PU(處理器單元,processor unit)即是我們通常理解的處理器。據(jù)了解,z196所使用的PU的特點(diǎn)在于,使用45納米工藝,采用超標(biāo)量體系統(tǒng)結(jié)構(gòu)(superscalar)和亂序指令執(zhí)行(out-of-order instruction execution)設(shè)計(jì),能夠獲得比其他類型服務(wù)器更高的可用性和性能。


  為了幫助大家更好地理解,我們介紹一下標(biāo)量與超標(biāo)量、順序指令執(zhí)行與亂序指令執(zhí)行的區(qū)別。

  標(biāo)量(scalar)處理器每次只執(zhí)行一條指令,而超標(biāo)量(superscalar)處理器每個(gè)周期可以同步執(zhí)行多條指令,其原理是通過在微處理器上增加額外的資源,創(chuàng)建多條管道(pipeline),每條管道執(zhí)行自己的指令集,以此來實(shí)現(xiàn)并行化。不過,這樣一來也增加了處理器的復(fù)雜性,因?yàn)橐粭l管道上的操作可能要依賴于另一條管道上的數(shù)據(jù),因此在設(shè)計(jì)時(shí)需要仔細(xì)考慮,在一個(gè)長(zhǎng)管道環(huán)境中,指令如何排序才能成功操作。在z196中,每個(gè)時(shí)鐘周期最多可以有3條指令被解碼,最多有5條指令/運(yùn)算可以被執(zhí)行。

  上圖左邊顯示的是in-order core execution(順序執(zhí)行模式),由于L1緩存數(shù)據(jù)丟失,導(dǎo)致指令2執(zhí)行起來存在較大的延遲,下一個(gè)指令也得等到指令2結(jié)束才能進(jìn)行。而如果使用out-of-order core execution(亂序執(zhí)行模式),如圖右邊顯示,如果指令4和指令2之間不存在相互依賴的關(guān)系,在指令2等待數(shù)據(jù)的同時(shí),指令4已經(jīng)開始了存儲(chǔ)訪問和執(zhí)行過程。可見,這種亂序指令執(zhí)行的方式效率明顯更高。


  下面我們?cè)賮砜纯刺幚砥鞯墓δ堋8话愕奶幚砥鞑煌?#xff0c;z196中PU的功能是可以自定義的。

  在每塊MCM中,一些PU可以用來專門執(zhí)行某些應(yīng)用,比如一些通用型PU運(yùn)行操作系統(tǒng)(如z/OS, z/VM, Linux on System z);有些PU經(jīng)過優(yōu)化,用來跑特定的負(fù)載(如Java, XML服務(wù), IPSec, 某些DB2負(fù)載)或功能(如Coupling Facility Control Code);有些PU被系統(tǒng)定義為標(biāo)準(zhǔn)的系統(tǒng)輔助處理器(system assist processor,SAP),用來跑I/O處理。另外至少有兩個(gè)備用PU,用來接替某一個(gè)出錯(cuò)失效的PU的工作。對(duì)于z196的不同型號(hào)來說,PU總數(shù)、用作SAP的PU數(shù)、最少備用PU數(shù)以及可以定制功能的PU數(shù)量都有所不同,如下表所示:

  下面我們具體看一下PU的功能類別:

  CP:中央處理器(central processor),一種可以使用全部z/Architecture指令集的PU,可以運(yùn)行基于z/Architecture的操作系統(tǒng)(z/OS, z/VM, TPF, z/TPF, z/VSE, Linux)和Coupling Facility Control Code (CFCC)。

  IFL:integrated facility for Linux,一種可以用來運(yùn)行Linux或者在z/VM操作系統(tǒng)中運(yùn)行Linux 客操作系統(tǒng)的PU。

  ICF:internal coupling facility,一種用來運(yùn)行面向并行sysplex環(huán)境的coupling facility control code (CFCC)的PU。

  zAAP:System z application assist processor,一種用來運(yùn)行z/OS Java或z/OS XML系統(tǒng)服務(wù)負(fù)載的PU,可以減少這些負(fù)載對(duì)CP的需求,為其他應(yīng)用釋放資源,如下圖:

在新一代機(jī)器上,WebSphere應(yīng)用性能提高了1.93倍

  zIIP:System z integrated information processor,可以用來處理一部分DB2數(shù)據(jù)庫的工作負(fù)載,釋放一些計(jì)算機(jī)資源,降低軟件成本,也可以被z/OS communications server用來處理互聯(lián)網(wǎng)協(xié)議安全(internet protocol security,IPSec)在網(wǎng)絡(luò)加密方面的負(fù)載。

  SAP:system assist processor,是一種可以用來運(yùn)行通道子系統(tǒng)licensed internal code (LIC)以控制I/O操作的PU。


  4級(jí)緩存結(jié)構(gòu)

  處理器再快,如果數(shù)據(jù)供應(yīng)不上,也只能干著急,這樣緩存系統(tǒng)就變成非常關(guān)鍵了。

  跟上一代的z10 EC大型機(jī)相比,z196增加了一級(jí)共享緩存L4,緩存容量也更大。新的緩存結(jié)構(gòu)設(shè)計(jì)能夠讓數(shù)據(jù)更“接近”處理器,從而改善系統(tǒng)針對(duì)多種生產(chǎn)應(yīng)用負(fù)載的性能。

比前一代產(chǎn)品顯著增大的緩存——每核1.5MB L2緩存,每處理器24MB L3緩存,使得更多的數(shù)據(jù)可以“接近”處理器,從而提高處理速度,這對(duì)于商業(yè)分析類應(yīng)用特別關(guān)鍵。

  z196的四級(jí)緩存結(jié)構(gòu)如下圖所示:

  每個(gè)核有自己的192KB L1緩存,分為128KB數(shù)據(jù)緩存和64KB指令緩存。每核還有自己的1.5MB L2緩存。L3緩存共有24MB大小,也是裝在PU芯片上,被四個(gè)核共享。L4緩存則裝在MCM上的兩塊SC(storage control,存儲(chǔ)控制)芯片上,每塊SC芯片有96MB,共192MB,被MCM上的所有PU共享。L2和L3緩存做在PU芯片上,用來減少處理器與L4級(jí)大共享緩存之間的延遲。L1和L2均采用store-through設(shè)計(jì),即改變的數(shù)據(jù)同時(shí)也會(huì)存儲(chǔ)在上一級(jí)緩存中,而L3和L4則采用store-in設(shè)計(jì)。

  值得一提的是,SC芯片包括4個(gè)24MB eDRAM,雖然此前eDRAM被認(rèn)為因?yàn)樗俣嚷y以擔(dān)當(dāng)重任,但I(xiàn)BM已經(jīng)在這一塊取得了技術(shù)突破,而且,使用eDRAM可以實(shí)現(xiàn)更高的密度、更低能耗、更少軟錯(cuò)誤以及更好的性能。


  內(nèi)存子系統(tǒng)

  如前所述,z196內(nèi)存子系統(tǒng)的設(shè)計(jì)重點(diǎn)是要讓數(shù)據(jù)盡可能“接近”處理器單元(PU),因此采用了全新的芯片級(jí)共享緩存(L3)和更大容量的book級(jí)共享緩存(L4)。在L4之上則是主內(nèi)存子系統(tǒng)。

  z196最大物理內(nèi)存容量與其安裝的book數(shù)直接相關(guān)。每個(gè)book最多可以安裝960GB物理內(nèi)存,這樣4個(gè)book最大總內(nèi)存達(dá)3840GB(3.75TB)。由于部分物理內(nèi)存可以用來做類似于磁盤RAID的功能,即Redundant array of independent memory (RAIM),所以每個(gè)book最大可用內(nèi)存為768GB,系統(tǒng)總內(nèi)存為3072GB(3TB)。另外,又由于Hardware system area (HSA)還需要固定的、獨(dú)立管理的16GB內(nèi)存,所以在只有一個(gè)book的系統(tǒng)中,用戶實(shí)際可用的最大內(nèi)存為752GB,在有4個(gè)book的系統(tǒng)中,可用最大內(nèi)存為3056GB。因此,用戶最大可用內(nèi)存=物理安裝內(nèi)存量-RAIM使用內(nèi)存量-HSA使用內(nèi)存量,如下圖所示:

  值得一提的是,z196所使用的RAIM功能,可以偵測(cè)到DRAM、CPU插座、內(nèi)存通道和DIMM失效的錯(cuò)誤,并從中恢復(fù),從而確保當(dāng)內(nèi)存錯(cuò)誤出現(xiàn)時(shí)可以被快速糾正,如下圖:


?

  散熱:風(fēng)冷或水冷

  z196有兩種散熱方式:標(biāo)配空調(diào)散熱系統(tǒng),當(dāng)然你也可以定制水冷系統(tǒng)。值得注意的是,如果你要選用水冷,需要事先做好如下準(zhǔn)備:

  一是進(jìn)水溫度要控制在6-16攝氏度,使用標(biāo)準(zhǔn)的建筑物冷凍水即可,一般不需要另外建設(shè)供水系統(tǒng);

  二是水流量保持在每分鐘3.7–79.4公升,這要取決于進(jìn)水溫度和系統(tǒng)節(jié)點(diǎn)數(shù)量,進(jìn)水溫度降低水流速度也可以降低,使用的節(jié)點(diǎn)數(shù)據(jù)減少水流速度也可以減少;

  三是最小的水壓要保持在0.34–2.32BAR,這取決于要求的最小水流速。

上圖顯示水冷模塊

  下圖中IBM工程師Don Gunvalsen 將全新的IBM zEnterprise大型主機(jī)裝載到位于紐約Poughkeepsie 試驗(yàn)室內(nèi)對(duì)系統(tǒng)在極端變化的溫度中的表現(xiàn)進(jìn)行測(cè)試。


?

  配置:5種型號(hào)

  綜上所述,z196的硬件特點(diǎn)有:5.2GHz的超高主頻、4級(jí)高速大緩存、3TB的海量?jī)?nèi)存、超標(biāo)量處理器設(shè)計(jì)、無序核指令執(zhí)行,還有靈活的配置選項(xiàng)。

  z196可以提供5種型號(hào)配置——M15、M32、M49、M66和M80,滿足從1個(gè)處理器到96個(gè)處理器(PU)的擴(kuò)展。這幾種型號(hào)的基本配置選項(xiàng)如下表所示:

  任何一種z196型號(hào)可以升級(jí)為另一種,升級(jí)過程需要中斷機(jī)器運(yùn)行。任何一種z9 EC或z10 EC也可以升級(jí)到任何一種z196型號(hào)。

  跟上一代產(chǎn)品相比,z196 Model M80的設(shè)計(jì)性能是z10EC Model E64的1.6倍左右。單一處理器的性能也大幅提高,比如一個(gè)z196 Model 701的性能是z10 EC Model 701的1.35-1.5倍。當(dāng)然,實(shí)際環(huán)境中,根據(jù)工作負(fù)載的不同,性能提升的幅度也會(huì)有變化。可用內(nèi)存容量也要多出2倍,z196支持的容量可以從32GB到最多3056GB,每個(gè)book可達(dá)768GB。

z9 EC、z10 EC、z196三代機(jī)器的性能區(qū)隔比較


?

  支持的操作系統(tǒng)與軟件

  在軟件方面,z196可以支持多種操作系統(tǒng)與ISV開發(fā)的應(yīng)用。其主要支持的操作系統(tǒng)即包括z/OS、z/VM、z/VSE、z/TPF這些傳統(tǒng)大型機(jī)操作系統(tǒng),也有適用于System z的Linux版本,如Novell SUSE、Red Hat的RHEL。zEnterprise 196支持多種中間件和ISV軟件,借助IBM WebSphere軟件,可以支持SOA、WEB服務(wù)、J2EE、Linux和其他開放標(biāo)準(zhǔn)應(yīng)用。

zEnterprise支持多種操作系統(tǒng)及應(yīng)用整合

最新版本的z/OS大型機(jī)專用操作系統(tǒng)

Linux on zEnterprise方便更大規(guī)模應(yīng)用整合

面向數(shù)據(jù)庫應(yīng)用的智能分析優(yōu)化器

在zEnterprise Systems上實(shí)現(xiàn)多平臺(tái)軟件開發(fā)與部署


?

  五、zBX刀片擴(kuò)展

  在了解了z196大型主機(jī)之后,我們?cè)賮砜纯磟Enterprise系統(tǒng)的第二個(gè)關(guān)鍵組成部分:zBX刀片服務(wù)器擴(kuò)展機(jī)柜。借此,新的大型主機(jī)成為第一個(gè)能夠管理運(yùn)行在IBM x86和Unix系統(tǒng)上成千上萬種工作負(fù)載的系統(tǒng),使數(shù)據(jù)中心得以被集中控制,管理起來更加簡(jiǎn)化。

  zEnterprise對(duì)異構(gòu)平臺(tái)的整合是基于IBM BladeCenter技術(shù)之上的。zBX刀片可以用來承載集成的多平臺(tái)系統(tǒng)與異構(gòu)工作負(fù)載,并帶有高級(jí)虛擬化管理功能。

  zBX最多有四個(gè)機(jī)柜,如上圖所示,機(jī)柜B是主機(jī)柜,其中有1-2個(gè)BladeCenter機(jī)箱和4個(gè)top of rack (TOR)交換機(jī),另外三個(gè)機(jī)柜C、D、E是擴(kuò)展機(jī)柜,各帶有1-2個(gè)BladeCenter機(jī)箱。由于每個(gè)BladeCenter個(gè)刀箱中最多可容納14塊POWER7或System x刀片,如果4個(gè)機(jī)柜都裝有兩個(gè)刀箱,即每個(gè)zEnterprise系統(tǒng)節(jié)點(diǎn)總共可以有112個(gè)刀片;如果擴(kuò)展到8個(gè)節(jié)點(diǎn)、最大規(guī)模的zEnterprise,即可以總共裝896個(gè)刀片。

  下圖IBM紐約Marlboro的工程師Joseph Corrado正在將一個(gè)新的x86刀片服務(wù)器安裝到IBM全新 zEnterprise系統(tǒng)的一個(gè)測(cè)試單元里。

  “將大型機(jī)和刀片服務(wù)器整合起來”是zEnterprise最大的變革之一,其價(jià)值主要體現(xiàn)在三個(gè)方面:

  首先,降低數(shù)據(jù)中心管理復(fù)雜性,提高系統(tǒng)性能和效率。根據(jù)對(duì)1541名CEO、總經(jīng)理的調(diào)查,“復(fù)雜性”已經(jīng)成為當(dāng)前管理者面臨的頭號(hào)難題。通過將大型機(jī)與刀片服務(wù)器進(jìn)行整合,zEnterprise可以簡(jiǎn)化數(shù)據(jù)中心的管理,因?yàn)樘峁┝藛我坏墓芾斫缑?#xff0c;單一的虛擬化和負(fù)載管理平臺(tái),安全治理策略也得到統(tǒng)一,使得需要人直接去“接觸”系統(tǒng)的工作減少了52%,同時(shí)使用專門負(fù)載優(yōu)化器還能大大提高數(shù)據(jù)處理性能。據(jù)稱,一個(gè)由z系列大型機(jī)和刀片服務(wù)器混搭的系統(tǒng),可以支持多達(dá)10萬個(gè)虛擬機(jī)。

  其次,實(shí)現(xiàn)了集中式計(jì)算和分布式計(jì)算兩種模式的融合。如果說大型機(jī)代表的是“集中計(jì)算模式”(Scale-up),而刀片服務(wù)器代表的是“分布式計(jì)算模式”(Scale-out),那zEnterprise這次是把這兩種計(jì)算模式進(jìn)行了整合,讓它們?yōu)橄嗤哪繕?biāo)工作,工作負(fù)載根據(jù)需要分配到最合適的系統(tǒng)上去運(yùn)行,同時(shí)借助先進(jìn)的虛擬化、負(fù)載管理和安全風(fēng)險(xiǎn)管理技術(shù),讓IT管理員得以轉(zhuǎn)移工作重心——不再每天維護(hù)那些物理和虛擬的系統(tǒng),而是更多參與到業(yè)務(wù)創(chuàng)新工作中去。

  第三,實(shí)現(xiàn)了IT與業(yè)務(wù)的融合,zEnterprise為業(yè)務(wù)創(chuàng)新釋放了一些資源,同時(shí)更強(qiáng)調(diào)服務(wù)管理,更加強(qiáng)調(diào)提高業(yè)務(wù)流程的效率。


?

  六、統(tǒng)一資源管理

  在把大型機(jī)、RISC小型機(jī)、X86服務(wù)器的資源整合在一起之后,如何保證資源的統(tǒng)一協(xié)調(diào)管理呢?這就得依靠IBM的Unified Resource Manager(統(tǒng)一資源管理器,zManager)。

  zManager可以用來實(shí)現(xiàn)端到端的虛擬化和管理,同時(shí)根據(jù)具體工作負(fù)載要求來優(yōu)化多平臺(tái)部署。通過zManager管理套件,zEnterprise系統(tǒng)從管理的角度可以被視為一個(gè)完整的平臺(tái),一個(gè)單一的資源池,跨越多個(gè)系統(tǒng)、多層和多種架構(gòu)環(huán)境,將系統(tǒng)和工作負(fù)載進(jìn)行整合管理,如下圖所示:

  zManager最多可以控制8個(gè)zEnterprise系統(tǒng)節(jié)點(diǎn),這里每個(gè)節(jié)點(diǎn)如前所述,包括一個(gè)z196機(jī)柜加上附加的zBX刀片擴(kuò)展柜,每個(gè)zBX最多可支持4個(gè)Blade Center機(jī)柜,每個(gè)機(jī)柜可容納2臺(tái)BladeCenter刀箱,每個(gè)刀箱里最多支持14塊刀片,如下圖所示。

  zManager可以實(shí)現(xiàn)的功能包括:運(yùn)行控制、虛擬服務(wù)器配置和管理、虛擬網(wǎng)絡(luò)管理、Hypervisor管理、存儲(chǔ)虛擬化管理、能耗控制、系統(tǒng)運(yùn)行狀態(tài)監(jiān)控、負(fù)載性能監(jiān)控與報(bào)告等。

zManager從六個(gè)視角對(duì)系統(tǒng)進(jìn)行統(tǒng)一管理

  顯然,虛擬化是整個(gè)管理架構(gòu)中最基本的一環(huán),其中用到的虛擬化技術(shù),包括:邏輯分區(qū)實(shí)現(xiàn)60個(gè)獨(dú)立的邏輯服務(wù)器,z/VM可以虛擬幾百到幾千個(gè)獨(dú)立運(yùn)行的虛擬機(jī)服務(wù)器,HiperSockets可以在一個(gè)服務(wù)器內(nèi)的邏輯分區(qū)之間實(shí)現(xiàn)虛擬LAN,從而可以通過讓多個(gè)邏輯服務(wù)器和虛擬服務(wù)器共享物理資源,來最大化提高系統(tǒng)利用率和效率。


?

  七、應(yīng)用舉例

  在應(yīng)用上,這種集成了三種架構(gòu)的系統(tǒng)又帶來什么不同呢?

  IBM表示,在大型機(jī)系統(tǒng)中引入zBX刀片服務(wù)器擴(kuò)展模塊,意味著許多新的工作負(fù)載也可能運(yùn)行在zEnterprise之上,比如典型三層架構(gòu)的WEB應(yīng)用,專用負(fù)載優(yōu)化(IBM Smart Analytics Optimizer (ISAO),如zBX中一部分刀片服務(wù)器專門用來充當(dāng)DB2 for z/OS的優(yōu)化器,在高性能計(jì)算網(wǎng)格中也可有類似部署),以及虛擬化和服務(wù)器整合應(yīng)用。

zEnterprise支持多種行業(yè)應(yīng)用

zEnterprise在商業(yè)智能分析中的部署邏輯結(jié)構(gòu)

  下面我們就以WEB應(yīng)用為例,看看新的架構(gòu)是如何應(yīng)用并帶來好處的:

  眾所周知,world Wide Web是一種典型的三層架構(gòu)web應(yīng)用。通常意義上,有一個(gè)http服務(wù)器用來向網(wǎng)友呈現(xiàn)WEB網(wǎng)頁,并接受網(wǎng)友的輸入請(qǐng)求。http服務(wù)器識(shí)別網(wǎng)友請(qǐng)求的應(yīng)用功能,并將請(qǐng)求傳給下一層,即應(yīng)用服務(wù)器。應(yīng)用服務(wù)器在收到請(qǐng)求后,選擇合適的業(yè)務(wù)邏輯,開始處理這個(gè)請(qǐng)求。當(dāng)應(yīng)用服務(wù)器需要檢索數(shù)據(jù)來滿足用戶請(qǐng)求時(shí),或者當(dāng)它需要存儲(chǔ)用戶提供的信息時(shí),就會(huì)調(diào)用下一層的數(shù)據(jù)庫服務(wù)器。數(shù)據(jù)庫服務(wù)器負(fù)責(zé)維護(hù)應(yīng)用所需的組織好的數(shù)據(jù)結(jié)構(gòu),并根據(jù)應(yīng)用服務(wù)器的請(qǐng)求,激活必要的存儲(chǔ)磁盤來調(diào)取或存儲(chǔ)數(shù)據(jù)。其拓?fù)浣Y(jié)構(gòu)具體如下圖所示:

  傳統(tǒng)上,http服務(wù)器需要有防火墻來保護(hù)用戶網(wǎng)絡(luò)免受來自公共互聯(lián)網(wǎng)的各種***,http服務(wù)器很可能是部署在集群服務(wù)器上,以保證訪問量增大時(shí)有足夠的系統(tǒng)性能資源,同時(shí)也提高可用性。http服務(wù)器然后通過防火墻與后面的應(yīng)用服務(wù)器進(jìn)行溝通。應(yīng)用服務(wù)器也可能是采用集群方式部署,再與后臺(tái)的數(shù)據(jù)庫服務(wù)器進(jìn)行溝通,數(shù)據(jù)流有可能被加密或者是中間再通過一層防火墻,這些當(dāng)然依據(jù)企業(yè)或政府各自對(duì)數(shù)據(jù)安全性的要求而定。

  這一架構(gòu)如果使用zEnterprise來部署,會(huì)變成什么樣子的呢?如下圖所示:

  比如,http服務(wù)器可以經(jīng)過虛擬化并被部署在zBX的幾個(gè)刀片服務(wù)器上。外部互聯(lián)網(wǎng)通信可以通過一個(gè)IEDN(intraensemble data network)中的VLAN進(jìn)行隔離開,其他虛擬服務(wù)器不允許訪問。VLAN隔離與物理隔離一樣安全。因此,內(nèi)部網(wǎng)通信可以直接指向應(yīng)用服務(wù)器集群,這個(gè)集群也是部署在zBX刀片上,通過VLAN進(jìn)行隔離。最后,應(yīng)用服務(wù)器與數(shù)據(jù)庫服務(wù)器的通信,后者可能是一個(gè)在zEnterprise 196上運(yùn)行的DB2 for z/OS,也是在IEDN中。因?yàn)镮EDN在zEnterprise中是進(jìn)行專門管理的,服務(wù)器間沒有物理連接,因此應(yīng)用服務(wù)器和數(shù)據(jù)庫的通信可能不再需要防火墻或加密保護(hù)措施。

  這種應(yīng)用部署可能會(huì)帶來以下好處:10 GbE IEDN帶來高速和高帶寬;服務(wù)器間減少網(wǎng)絡(luò)“hops”次數(shù);通過IEDN和VLAN可以減少外部路由器、交換機(jī)與防火墻等設(shè)備數(shù)量;由于消除了加密解密的性能損耗,可以改善響應(yīng)時(shí)間;可以對(duì)根據(jù)工作負(fù)載變化進(jìn)行資源需求的動(dòng)態(tài)監(jiān)控和管理。

  IBM當(dāng)然希望有更多的行業(yè)應(yīng)用可以采用這種新的模式,如零售企業(yè)在z196大型機(jī)上跑DB2 for z/OS數(shù)據(jù)庫,在POWER7刀片服務(wù)器上跑SAP應(yīng)用服務(wù)器,在x86刀片服務(wù)器上跑SAP Business Warehouse Accelerator;銀行在z196上跑IMS、CICS、DB2等核業(yè)務(wù),在POWER7刀片上跑AIX for WebSphere,在X86刀片上跑Linux……


?

  八、小結(jié)

  總之,用戶在評(píng)估一個(gè)異構(gòu)環(huán)境時(shí),需要考慮幾個(gè)方面的問題:如何讓不同業(yè)務(wù)負(fù)載跑在最合適的系統(tǒng)上面,并保證高質(zhì)量服務(wù)水準(zhǔn)?管理環(huán)境如何集成、統(tǒng)一?如何實(shí)現(xiàn)跨平臺(tái)的虛擬化,且能夠幫助管理員將重心放到負(fù)載管理和業(yè)務(wù)創(chuàng)新上面來?如何管理風(fēng)險(xiǎn),確保系統(tǒng)架構(gòu)的持續(xù)安全?如何掌控能源使用情況,并采取相應(yīng)的管理舉措?如何實(shí)現(xiàn)萬兆以太網(wǎng)、Infiniband、專用網(wǎng)絡(luò)等網(wǎng)絡(luò)的集成,減少路由器和防火墻等網(wǎng)絡(luò)設(shè)備?如何對(duì)某些核心負(fù)載進(jìn)行優(yōu)化,盡可能提高處理性能?......

  新一代的IBM zEnterprise系統(tǒng)不僅在可擴(kuò)展性、性能、容量、能效等方面有所提升——與z10相同的能耗卻換來了60%的更大容量,5.2GHz高主頻CPU和80-way擴(kuò)展架構(gòu)、新型四級(jí)大緩存結(jié)構(gòu)使傳統(tǒng)z/OS負(fù)載性能提高40%,編譯器改進(jìn)則使得CPU密集型負(fù)載性能可提高30%,內(nèi)存容量翻倍更適合商業(yè)分析與決策支持應(yīng)用,專門工作負(fù)載優(yōu)化器使復(fù)雜數(shù)據(jù)庫查詢性能可以提高5-10倍,浮點(diǎn)計(jì)算性能和單線程性能也更強(qiáng);而且更重要的是,zEnterprise給CIO們帶來了一種新的管理視角:讓前端應(yīng)用與后端系統(tǒng)資源實(shí)現(xiàn)自動(dòng)優(yōu)化匹配,簡(jiǎn)化系統(tǒng)復(fù)雜性和數(shù)據(jù)中心管理成本,讓IT人員有更多的時(shí)間和精力去為業(yè)務(wù)做創(chuàng)新。

誰說大象不能跳舞?新時(shí)代下,即便“身材巨重”的大型主機(jī)也已經(jīng)變換身段,翩翩起舞.....


?

  附:IBM大型主機(jī)發(fā)展歷史

  大型機(jī)(Mainframe)這個(gè)詞,最初是指裝在非常大的帶框的鐵盒子里的大型計(jì)算機(jī)系統(tǒng),大型機(jī)至今已經(jīng)走過了40多年的風(fēng)雨里程,有過輝煌,也有過低谷。1964年4月7日,誕生了第一臺(tái)IBM大型機(jī)(SYSTEM/360,簡(jiǎn)稱S/360)。這項(xiàng)投資50億美元的投資,被證實(shí)是一項(xiàng)啟動(dòng)創(chuàng)新商業(yè)運(yùn)作的歷史性變革。

  1964年

  S/360誕生。S/360以取一圈360度之意,即為滿足每個(gè)用戶的需要而設(shè)計(jì)。它可以讓低端電腦連接大型主機(jī),下傳和下載程序或資料,將電子數(shù)據(jù)處理的“松散終端”連接起來。堪稱是現(xiàn)代e化的開宗祖師。

  1968年

  System/360 85型引入了高速緩存存儲(chǔ)器,使得可以比以前快12倍的速度提供高優(yōu)先級(jí)的數(shù)據(jù),并且為今天很多的計(jì)算技術(shù)中可見的同一種高速緩存存儲(chǔ)器打下了基礎(chǔ)。

  1972年

  IBM 公布了VM虛擬化。今天,zVM幫助創(chuàng)建敏捷的主機(jī),能夠迅速有效地利用資源來響應(yīng)動(dòng)態(tài)需求。

  1976年

  System/370 上的SAS軟件幫助創(chuàng)造了新的競(jìng)爭(zhēng)優(yōu)勢(shì):商業(yè)智能。這一創(chuàng)新將原始數(shù)據(jù) 轉(zhuǎn)換成為可操作的智能,它能夠幫助組織發(fā) 展獲利性更好的客戶關(guān)系和供應(yīng)商關(guān)系,并實(shí)現(xiàn)了更好、更準(zhǔn)確的決策。

  1988年

  IBM客戶開始超越?jīng)Q策支持系統(tǒng)(DSS)來部署 DB2,將它部署到核心交易處理中,推動(dòng)了CPU成本的降低和在并發(fā)性上的顯著改進(jìn)。

  1988年

  IBM引入了 Enterprise System/3090 600S 型。它是業(yè)界最強(qiáng)大的通用處理器,為客戶提供了額外的 56% 處理能力并引導(dǎo)了新的10型號(hào)S系列高級(jí)大型計(jì)算機(jī),這些計(jì)算機(jī)利用 IBM 的企業(yè)系統(tǒng)體系結(jié)構(gòu)/370、多虛擬系統(tǒng)/ESA 和虛擬機(jī)/擴(kuò)展體系結(jié)構(gòu)操作系統(tǒng)和數(shù)據(jù)管理軟件。

  1994年

  IBM公布了System/390并行系統(tǒng)綜合體產(chǎn)品,它包括了耦合器、S/390并行事務(wù)服務(wù)器、高速耦合鏈路以及軟件功能增強(qiáng)。并行系統(tǒng)綜合體設(shè)計(jì)用于提供應(yīng)用的持續(xù)可用性、減少或消除計(jì)劃的應(yīng)用程序,并且能夠擴(kuò)展到實(shí)際上不受限的容量。

  1995年

  互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)所支持的處理器引入到了主機(jī)環(huán)境,為現(xiàn)代主機(jī)技術(shù)設(shè)定了新的路徑圖。CMOS芯片需要的電力比只使用一種類型晶體管的芯片要少。

  1998年

  IBM引入了System/390 第5代服務(wù)器。Turbo型號(hào)突破了1000個(gè)MIPS的障礙,使它成為世界上最強(qiáng)大的主機(jī)之一。

  1999年

  IBM引入了System/390 第6代服務(wù)器。它是第一個(gè)使用IBM創(chuàng)新的銅芯片技術(shù)的企業(yè)服務(wù)器2000年IBM公布了IBM eServer z系列900,它是從頭構(gòu)建的第一個(gè)以電子商務(wù)作為其主要功能的IBM主機(jī)。z系列主機(jī)構(gòu)建用于處理不可預(yù)測(cè)的電子商務(wù)需求,使得數(shù)千個(gè)服務(wù)器能夠在同一個(gè)機(jī)箱中運(yùn)作。IBM還向 z/OS引入了新的64位操作系統(tǒng)。

  2003年

  IBM公布了eServer z系列990,它是世界上最復(fù)雜的服務(wù)器、eServer系列的新旗艦產(chǎn)品。它為動(dòng)態(tài)地平衡關(guān)鍵應(yīng)用提供了均衡的、高度安全的平臺(tái),并且是投入了4年時(shí)間和超過10億美元所得到的成果。運(yùn)行z/OS 1.4的z990上的每秒SSL交易量增加到11000。

  2004年

  IBM公布了新的 IBM eServer z系列890。eServer z890有一些新的選擇方案,用于幫助更好地管理軟件成本和設(shè)計(jì)用于提供簡(jiǎn)化、響應(yīng)能力更好的基礎(chǔ)架構(gòu)的創(chuàng)新技術(shù)。z890 保留了 System/360 包容每一位用戶的每種需求這一傳統(tǒng),并為中型企業(yè)提供了64年4月7日,誕生了第一臺(tái)IBM大型機(jī)(SYSTEM/360,簡(jiǎn)稱S/360)。這項(xiàng)投資50億美元的投資,被證實(shí)是一項(xiàng)啟動(dòng)創(chuàng)新商業(yè)運(yùn)作的歷史性變革。

  1964年

  S/360誕生。S/360以取一圈360度之意,即為滿足每個(gè)用戶的需要而設(shè)計(jì)。它可以讓低端電腦連接大型主機(jī),下傳和下載程序或資料,將電子數(shù)據(jù)處理的“松散終端”連接起來。堪稱是現(xiàn)代e化的開宗祖師。

  1968年

  System/360 85型引入了高速緩存存儲(chǔ)器,使得可以比以前快12倍的速度提供高優(yōu)先級(jí)的數(shù)據(jù),并且為今天很多的計(jì)算技術(shù)中可見的同一種高速緩存存儲(chǔ)器打下了基礎(chǔ)。

  1972年

  IBM 公布了VM虛擬化。今天,zVM幫助創(chuàng)建敏捷的主機(jī),能夠迅速有效地利用資源來響應(yīng)動(dòng)態(tài)需求。

  1976年

  System/370 上的SAS軟件幫助創(chuàng)造了新的競(jìng)爭(zhēng)優(yōu)勢(shì):商業(yè)智能。這一創(chuàng)新將原始數(shù)據(jù) 轉(zhuǎn)換成為可操作的智能,它能夠幫助組織發(fā) 展獲利性更好的客戶關(guān)系和供應(yīng)商關(guān)系,并實(shí)現(xiàn)了更好、更準(zhǔn)確的決策。

  1988年

  IBM客戶開始超越?jīng)Q策支持系統(tǒng)(DSS)來部署 DB2,將它部署到核心交易處理中,推動(dòng)了CPU成本的降低和在并發(fā)性上的顯著改進(jìn)。

  1988年

  IBM引入了 Enterprise System/3090 600S 型。它是業(yè)界最強(qiáng)大的通用處理器,為客戶提供了額外的 56% 處理能力并引導(dǎo)了新的10型號(hào)S系列高級(jí)大型計(jì)算機(jī),這些計(jì)算機(jī)利用 IBM 的企業(yè)系統(tǒng)體系結(jié)構(gòu)/370、多虛擬系統(tǒng)/ESA 和虛擬機(jī)/擴(kuò)展體系結(jié)構(gòu)操作系統(tǒng)和數(shù)據(jù)管理軟件。

  1994年

  IBM公布了System/390并行系統(tǒng)綜合體產(chǎn)品,它包括了耦合器、S/390并行事務(wù)服務(wù)器、高速耦合鏈路以及軟件功能增強(qiáng)。并行系統(tǒng)綜合體設(shè)計(jì)用于提供應(yīng)用的持續(xù)可用性、減少或消除計(jì)劃的應(yīng)用程序,并且能夠擴(kuò)展到實(shí)際上不受限的容量。

  1995年

  互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)所支持的處理器引入到了主機(jī)環(huán)境,為現(xiàn)代主機(jī)技術(shù)設(shè)定了新的路徑圖。CMOS芯片需要的電力比只使用一種類型晶體管的芯片要少。

  1998年

  IBM引入了System/390 第5代服務(wù)器。Turbo型號(hào)突破了1000個(gè)MIPS的障礙,使它成為世界上最強(qiáng)大的主機(jī)之一。

  1999年

  IBM引入了System/390 第6代服務(wù)器。它是第一個(gè)使用IBM創(chuàng)新的銅芯片技術(shù)的企業(yè)服務(wù)器2000年IBM公布了IBM eServer z系列900,它是從頭構(gòu)建的第一個(gè)以電子商務(wù)作為其主要功能的IBM主機(jī)。z系列主機(jī)構(gòu)建用于處理不可預(yù)測(cè)的電子商務(wù)需求,使得數(shù)千個(gè)服務(wù)器能夠在同一個(gè)機(jī)箱中運(yùn)作。IBM還向 z/OS引入了新的64位操作系統(tǒng)。

  2003年

  IBM公布了eServer z系列990,它是世界上最復(fù)雜的服務(wù)器、eServer系列的新旗艦產(chǎn)品。它為動(dòng)態(tài)地平衡關(guān)鍵應(yīng)用提供了均衡的、高度安全的平臺(tái),并且是投入了4年時(shí)間和超過10億美元所得到的成果。運(yùn)行z/OS 1.4的z990上的每秒SSL交易量增加到11000。

  2004年

  IBM公布了新的 IBM eServer z系列890。eServer z890有一些新的選擇方案,用于幫助更好地管理軟件成本和設(shè)計(jì)用于提供簡(jiǎn)化、響應(yīng)能力更好的基礎(chǔ)架構(gòu)的創(chuàng)新技術(shù)。z890保留了System/360 包容每一位用戶的每種需求這一傳統(tǒng),并為中型企業(yè)提供了細(xì)化的顆粒度、先進(jìn)的技術(shù)和應(yīng)用程序靈活性等優(yōu)勢(shì)。

  2006年

  IBM向全球正式推出專門針對(duì)中端用戶、具有突破意義的IBM System z9 Business Class大型主機(jī)。此外,IBM還宣布增加System z9 Enterprise Class(IBM System z9 109)服務(wù)器新功能,以強(qiáng)化系統(tǒng)的業(yè)務(wù)靈活性。

  2008年

  IBM宣布推出System z10大型主機(jī)以幫助客戶創(chuàng)建一個(gè)全新企業(yè)級(jí)數(shù)據(jù)中心。憑借新的設(shè)計(jì),System z10通過顯著提升性能、降低用電與冷卻成本,以及占地空間需求,從而大幅度提升數(shù)據(jù)中心的效率。同時(shí),它提供了無與倫比的安全水平,并通過自動(dòng)化管理和自動(dòng)跟蹤IT資源來響應(yīng)不斷變化的業(yè)務(wù)需求。

  IBM System z10企業(yè)級(jí)服務(wù)器(z10 EC 柜式)專業(yè)為企業(yè)級(jí)業(yè)務(wù)需求設(shè)計(jì)的世界一流的企業(yè)級(jí)服務(wù)器。z10 EC為企業(yè)發(fā)展和大規(guī)模整合,實(shí)現(xiàn)更高的IT安全性、彈性和可用性,以及降低IT風(fēng)險(xiǎn)提供了全新的性能和容量,同時(shí)引入了即時(shí)資源分配來響應(yīng)不斷變化的業(yè)務(wù)需求。

  2010年7月

  IBM宣布推出zEnterprise大型主機(jī)服務(wù)器和一個(gè)全新設(shè)計(jì)的系統(tǒng),該系統(tǒng)能夠允許大型主機(jī)、POWER7和System x 服務(wù)器上的工作負(fù)載共享資源,并作為一個(gè)單一的、虛擬的系統(tǒng)進(jìn)行管理。全新的大型主機(jī)也是迄今為止最強(qiáng)大、且最具能源效率的大型主機(jī)。

轉(zhuǎn)載于:https://blog.51cto.com/3258169/854837

總結(jié)

以上是生活随笔為你收集整理的大型主机的发展的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

一区二区av | 天天激情综合网 | 国产品久精国精产拍 | 国产精品18久久久久久久久 | 久久久久国产一区二区三区 | 成年人免费av网站 | 手机在线看片日韩 | 美女精品国产 | 国产高清99 | 欧洲一区二区三区精品 | 手机在线看a | 97热视频 | 国产精品第7页 | 欧美日韩中文字幕在线视频 | 日本mv大片欧洲mv大片 | 国产在线看一区 | 久草手机视频 | 99999精品视频 | 免费观看版 | 狠狠干中文字幕 | 久久97精品| 国产精品亚洲人在线观看 | 成人电影毛片 | 在线视频免费观看 | 91九色在线视频观看 | 国产精品mv | 成人国产精品一区二区 | 久久免费一 | 久久 地址 | 久久免费视频这里只有精品 | 久久精品日韩 | 97精品视频在线播放 | 亚洲精品在 | 国产精品久久久久久久免费观看 | 精品国产伦一区二区三区 | 亚洲精品在线观看视频 | 国产精品久久电影观看 | 国产 视频 高清 免费 | 国产中文字幕在线看 | 性色av一区二区三区在线观看 | 天天干天天操天天操 | 国产自在线 | 黄网站免费看 | 丁香一区二区 | 韩日电影在线免费看 | 欧美先锋影音 | 91成人精品一区在线播放 | 日韩黄在线观看 | 亚洲精品在线免费看 | 久久毛片网站 | 天天爽夜夜操 | 亚洲美女在线国产 | 怡春院av| 日韩av在线资源 | 99精品毛片 | 日韩免费中文字幕 | 色综合天天综合在线视频 | 亚洲免费视频观看 | 国产精品美 | 伊人五月天av | 黄色小说在线观看视频 | 精品久久久久久国产 | 伊人手机在线 | 精品久久免费 | 91精品在线免费观看视频 | 九九九九精品 | 国产精品色视频 | 午夜视频色 | 九九九九九九精品 | 99 精品 在线 | 蜜臀久久99精品久久久酒店新书 | 国产在线视频在线观看 | 天天草综合网 | 日韩一区二区久久 | 久久久久久久久电影 | 玖玖在线视频观看 | 久久综合久色欧美综合狠狠 | 天天操天天射天天 | 一区视频在线 | 狠狠狠狠狠狠 | 久久黄网站 | 国产91影院 | 伊人中文字幕在线 | 国产亚洲91 | 国产在线黄 | 国产精品美女视频网站 | 91最新地址永久入口 | 天天操天天干天天爽 | 热久久在线视频 | 中文成人字幕 | 一级久久久| 91av在线免费看 | www.97视频 | 欧美日韩精品在线一区二区 | 日韩久久精品一区二区三区 | 久久99精品久久久久蜜臀 | 在线观看91视频 | 在线观看精品视频 | 99视频精品全部免费 在线 | 国产一区二区三区在线免费观看 | 午夜精品视频福利 | 欧美精品久久久久性色 | 欧美性大战 | 中文av网 | 五月天婷婷视频 | 丁香婷婷射 | 日韩极品在线 | 毛片随便看| 国产一二三四在线观看视频 | 国产精品免费大片视频 | 久久久麻豆精品一区二区 | 亚洲国产大片 | 亚洲精品在线一区二区三区 | 91中文字幕在线播放 | 国产三级精品在线 | av网站在线观看免费 | 999久久国产精品免费观看网站 | 在线观看久草 | 日日夜日日干 | 中文字幕免费播放 | 粉嫩av一区二区三区四区 | 国产少妇在线观看 | 欧美少妇影院 | 国产在线观看污片 | 91精品久久久久 | 国产色网 | 中国一区二区视频 | 亚洲最大av网 | 丁香电影小说免费视频观看 | 欧美午夜精品久久久久久浪潮 | 免费视频一区二区 | 在线观看中文av | 91免费网| 在线中文字幕视频 | 日韩欧美一区二区不卡 | 久久少妇av| 中文字幕在线播放一区二区 | a在线播放| 精品一区精品二区 | 一区二区三区免费在线 | av丝袜美腿 | 久久不卡国产精品一区二区 | 中文字幕日韩精品有码视频 | 中文av日韩 | 在线观看中文字幕视频 | 色婷婷啪啪免费在线电影观看 | 久久欧洲视频 | 成年人免费在线看 | 日日碰狠狠添天天爽超碰97久久 | 成年人免费观看在线视频 | 亚洲综合国产精品 | 国产视频精品在线 | 99亚洲天堂 | 国产精品中文字幕av | 亚洲欧美在线观看视频 | 久久69精品| 黄色三级在线观看 | 少妇bbw搡bbbb搡bbbb | 欧美动漫一区二区三区 | 美女视频黄是免费的 | 粉嫩av一区二区三区免费 | 久久刺激视频 | www亚洲国产 | 99久久精品国产毛片 | 超碰在线最新网址 | 国产看片免费 | 91视频亚洲| 亚洲aaa毛片 | 国产亚洲一级高清 | 欧美日韩二区在线 | 亚洲精品啊啊啊 | 国产精品综合久久久 | 狠狠婷婷 | 超碰97在线人人 | 免费观看福利视频 | 美女视频久久久 | 亚洲一级电影 | 色婷婷综合在线 | 午夜a区 | 欧美在线18 | 国产又粗又猛又色 | 久久久精品在线观看 | a级国产乱理论片在线观看 伊人宗合网 | 在线观看精品黄av片免费 | 日韩草比 | 中文字幕乱在线伦视频中文字幕乱码在线 | 亚洲视频一区二区三区在线观看 | 日韩久久精品一区 | 成人在线免费观看网站 | 国产在线精 | 日韩av看片| 久久99精品久久久久久 | 在线免费观看黄 | 九九免费在线视频 | 久久综合色综合88 | 亚洲日本国产精品 | 久草在线免 | 国产精品乱码在线 | 欧美日韩高清不卡 | 伊人欧美| 国产精品麻豆一区二区三区 | 欧美极品少妇xxxx | 99久久影院 | 激情动态 | 中文字幕中文 | 日韩不卡高清 | 麻豆91在线| 国产无限资源在线观看 | 免费看国产视频 | av在线免费在线观看 | 热久久免费视频 | 亚洲尺码电影av久久 | 国产一级精品在线观看 | 色噜噜在线观看 | 五月婷婷狠狠 | 波多野结衣电影一区 | 久久久久国产一区二区三区 | av在线之家电影网站 | 免费观看性生活大片3 | av在线8| 成人国产精品免费观看 | 天天色 天天 | 色天天综合网 | 日韩精品免费一区二区在线观看 | 婷婷伊人网 | 免费在线观看视频a | 亚洲最大激情中文字幕 | 久久久免费精品 | 国产精品视频全国免费观看 | 日韩久久影院 | 久久久久免费精品国产 | 久久久精品 | 免费观看mv大片高清 | 激情婷婷丁香 | 日韩xxxxxxxxx| 中文字幕资源网 国产 | 国产一级片免费观看 | 国产午夜三级 | 久久999久久 | www.色国产 | 在线免费观看黄色 | 精品夜夜嗨av一区二区三区 | 国产一级二级三级视频 | 久久久久久免费毛片精品 | 超碰免费公开 | 狠狠艹夜夜干 | 欧美日韩一级视频 | 91精品啪在线观看国产 | 国产成人精品av在线观 | 亚洲精品视频网址 | 国产理论在线 | 激情欧美一区二区免费视频 | 香蕉视频在线播放 | 成人精品国产免费网站 | av电影免费看 | 成人h动漫在线看 | 四虎海外影库www4hu | 91在线91 | 国产高潮久久 | 人人插人人舔 | 丁香在线观看完整电影视频 | 成人毛片网 | 青草草在线视频 | 久久成人免费 | 黄色亚洲大片免费在线观看 | 国产精品久久二区 | 日韩日韩日韩日韩 | 久久色视频| 久久久久97国产 | av高清一区 | 99视频在线精品国自产拍免费观看 | 亚洲乱码在线观看 | 97高清视频| 日韩黄色大片在线观看 | 97在线观看| 国产中文在线播放 | 9999毛片| 国产人免费人成免费视频 | 黄色三级免费网址 | 成人在线观看免费 | 久久黄色免费视频 | 国产精品自产拍在线观看中文 | www五月天婷婷 | 草在线视频 | 三级黄色免费片 | 蜜臀av性久久久久蜜臀aⅴ流畅 | 91天堂素人约啪 | 亚洲一区二区三区精品在线观看 | 99热这里只有精品8 久久综合毛片 | 97福利在线 | 欧美性大战 | 国产精品亚洲a | 超碰在线网 | 国产在线色 | 日韩理论片中文字幕 | 久久男人影院 | 韩国三级一区 | 玖玖999 | 国产美女网站视频 | 日韩二区精品 | 欧美性天天 | 日韩一级黄色大片 | 五月婷婷综合色拍 | 欧美成人理伦片 | 另类老妇性bbwbbw高清 | 国产精品一区二区在线观看免费 | 久久亚洲欧美日韩精品专区 | 久久久久久欧美二区电影网 | 娇妻呻吟一区二区三区 | 麻豆视频一区 | 亚洲天堂社区 | 久久久久久国产精品久久 | 91精品国产91 | 五月婷婷国产 | 免费av在线播放 | 有码中文字幕在线观看 | 国产精品永久久久久久久久久 | 91在线网站 | 综合精品在线 | 狠狠色狠狠综合久久 | 在线观看视频99 | 国产爽妇网| 在线观看视频免费播放 | 18国产精品白浆在线观看免费 | 亚洲精品中文字幕在线观看 | 草久在线观看视频 | 国产精品原创av片国产免费 | 欧美日韩一区二区久久 | 亚洲国产合集 | 嫩草伊人久久精品少妇av | 四虎在线免费观看 | 免费观看成年人视频 | 亚洲精品久久在线 | 精品在线小视频 | 极品美女被弄高潮视频网站 | 国产淫片 | 欧美a√大片 | 久久综合影视 | 亚洲色图22p | 婷婷久月 | 色婷婷www | 久久久资源网 | 一区二区 精品 | 国产高清在线观看av | 国产综合香蕉五月婷在线 | 精品一二三区视频 | 在线观看视频一区二区三区 | 国产精品一区二区视频 | av福利超碰网站 | 91国内在线 | 国产黄视频在线观看 | 欧美极品xxx| 偷拍视频一区 | 91精品91 | 中文字幕免费一区二区 | 欧美日韩免费观看一区=区三区 | 欧美地下肉体性派对 | 丁香婷婷激情 | 最新午夜 | 人人要人人澡人人爽人人dvd | 国产99久久久久久免费看 | www.久久久| 日韩一三区| 黄色精品一区二区 | 午夜久久影院 | 国产精品日韩在线观看 | 天天爱天天草 | 久草精品视频 | 少妇搡bbbb搡bbb搡69 | 精品你懂的 | 男女精品久久 | 人人网av | 亚洲欧美在线综合 | 人成在线免费视频 | 天天操天天色天天 | 99热在线观看 | 国产精品免费大片视频 | 岛国大片免费视频 | 国产亚洲精品日韩在线tv黄 | 怡红院av久久久久久久 | av理论电影| 成人毛片在线观看视频 | 日韩欧美一区二区三区视频 | 亚洲伊人色 | 免费网址在线播放 | 亚洲免费婷婷 | 九九热精品视频在线播放 | 国产精品一区二区麻豆 | 免费精品在线观看 | 精品久久91 | 亚洲美女视频在线观看 | 伊人五月天av| 超碰人人超| 国产精品久久久久久一区二区三区 | 97在线视频网站 | 人人舔人人舔 | 69视频在线播放 | 日韩xxx视频 | 国产黄影院色大全免费 | 国产一级二级在线播放 | 国产麻豆视频在线观看 | 国产一在线精品一区在线观看 | 久久人人爽人人爽人人片av软件 | 黄色av网站在线观看免费 | 欧美日韩中文字幕视频 | 看av免费网站 | 亚洲激情 在线 | 日韩最新av | 亚洲性视频 | 国产亚洲小视频 | 成人作爱视频 | 免费在线看成人av | 中文字幕视频一区 | www.伊人色.com| 日韩视频免费在线 | 黄色成人小视频 | 国产三级国产精品国产专区50 | 欧美日韩久久不卡 | 乱男乱女www7788| 亚洲影院国产 | 精品久久福利 | 色视频网站在线 | 国产激情免费 | 涩涩资源网 | 毛片网在线 | 色大片免费看 | 亚洲欧美一区二区三区孕妇写真 | 欧美日性视频 | 亚洲视频中文 | www.色com | 在线观看精品一区 | 色婷婷狠狠18 | 欧美日韩免费观看一区=区三区 | 在线91色 | 久保带人| 狠狠操电影网 | 国产在线观看污片 | 精品国产综合区久久久久久 | 久久久午夜影院 | 人人插人人草 | 国产裸体永久免费视频网站 | 国产高清视频网 | 天天综合网入口 | 97超视频免费观看 | 天天干天天操天天操 | 狠狠操夜夜操 | 欧美精品在线一区二区 | 国产高h视频 | 亚洲成人免费观看 | 国产精品1024 | 日韩av免费一区 | 久草在线视频精品 | 天天射日 | 久久久亚洲精华液 | 超碰在线97免费 | www国产亚洲精品久久麻豆 | av在线短片 | 国产又黄又猛又粗 | 欧美激情奇米色 | 日韩两性视频 | 国精产品999国精产品视频 | 欧美精品久久久久久久亚洲调教 | 免费国产在线精品 | 在线中文字幕电影 | 国产精品观看视频 | 日本成址在线观看 | 91大神在线观看视频 | 欧美最猛性xxxxx(亚洲精品) | 久久精品电影院 | 免费视频 你懂的 | 97国产精品 | 国产一级视频在线 | 欧美精品国产综合久久 | 久草在线看片 | 深爱激情综合 | 免费在线看成人av | 91在线麻豆 | 亚洲国产精品500在线观看 | 在线观看www视频 | 久久久国际精品 | 亚洲精品一区二区在线观看 | 又色又爽又黄高潮的免费视频 | 麻豆国产网站入口 | 久久国产精品久久精品 | 中文字幕在线播放第一页 | 国产精品免费在线 | 69亚洲精品| 天天爱天天操天天爽 | 欧美国产日韩一区二区三区 | 国产欧美精品一区aⅴ影院 99视频国产精品免费观看 | 欧美一级特黄aaaaaa大片在线观看 | 在线a亚洲视频播放在线观看 | 亚洲综合最新在线 | 毛片www | 欧美成人h版在线观看 | 日韩三级免费观看 | 日韩欧美电影 | 五月天激情视频在线观看 | 正在播放国产精品 | 国内精品国产三级国产aⅴ久 | 九九激情视频 | 免费福利视频网 | 嫩草伊人久久精品少妇av | 日韩午夜av电影 | 99久久精品国产亚洲 | 九九综合久久 | 九九九九九九精品任你躁 | 天天想夜夜操 | 81精品国产乱码久久久久久 | 日韩在线网址 | 日韩午夜网站 | 中国黄色一级大片 | 99精品国产免费久久久久久下载 | 激情久久网 | 中文在线亚洲 | 欧美精品亚洲精品日韩精品 | 粉嫩一区二区三区粉嫩91 | 国产精品亚洲视频 | 狠狠色噜噜狠狠 | 西西444www高清大胆 | 免费在线观看一级片 | 精品色999| 日韩一级理论片 | 超碰免费在线公开 | 国产资源在线视频 | 国产精品aⅴ | 亚洲黄在线观看 | 亚洲精品乱码久久久久久蜜桃91 | 国产一区二区三区免费在线观看 | 久久99精品久久久久蜜臀 | 国产一区视频免费在线观看 | 国产黄免费在线观看 | 亚洲成av人片在线观看无 | 91tv国产成人福利 | 中文国产字幕在线观看 | 月下香电影 | 2021国产精品 | 中文字幕精品一区 | 亚洲精品中文在线资源 | 免费能看的av | 999视频在线播放 | 国产成人精品一区二三区 | 亚洲国产网址 | 韩国一区二区三区视频 | 伊人久久婷婷 | 午夜123 | 亚洲a成人v | 久久a免费视频 | 色偷偷88欧美精品久久久 | 久久久久久在线观看 | 国产对白av | 久久久久久久久电影 | 天天干天天拍 | 97色se | 在线中文视频 | 国产一级片直播 | 人人澡澡人人 | 日韩影视大全 | 99视频在线观看免费 | 久久99偷拍视频 | 中文字幕在线观看一区二区三区 | av免费电影网站 | 亚洲日韩中文字幕 | 免费看日韩 | 最近中文字幕免费av | 久久久高清一区二区三区 | 久久久久女教师免费一区 | 香蕉视频最新网址 | 黄色av电影在线观看 | 国产精品久久久久久欧美 | 天天爽夜夜爽人人爽曰av | 天天操天天操天天 | 人人草在线观看 | 久久毛片视频 | 亚洲高清色综合 | 国产精品久久久久久久久久免费 | 免费激情在线电影 | 亚洲自拍偷拍色图 | 国产裸体无遮挡 | 国产在线观看地址 | 国产精品毛片一区二区 | 高清不卡一区二区在线 | 日本午夜免费福利视频 | 国产 日韩 欧美 自拍 | 99久久99精品| 亚洲片在线观看 | 玖玖在线资源 | 国产黄色片免费观看 | 国产精品美女久久久久久久久 | www久| 国产日韩欧美综合在线 | 国产一卡二卡四卡国 | 亚洲视频免费视频 | 久久久久亚洲国产精品 | 欧美午夜一区二区福利视频 | 国产精品中文久久久久久久 | 日日婷婷夜日日天干 | 99久久夜色精品国产亚洲96 | 免费色视频 | 日韩精品久久久 | 中文在线字幕免 | 日本特黄特色aaa大片免费 | 中文高清av | 国产三级国产精品国产专区50 | 亚洲人xxx | 亚洲人视频在线 | 91天堂影院 | 99国内精品 | 日日干夜夜操视频 | 日日夜夜网站 | 欧美日韩不卡一区二区三区 | 国产我不卡 | 免费观看丰满少妇做爰 | 国产精品免费麻豆入口 | 91传媒视频在线观看 | 国产成人免费在线 | 黄www在线观看 | 国产精品手机在线 | 欧美 日韩精品 | av综合网址 | 中文字幕免费看 | 天天操天天射天天爽 | 91欧美精品| 国产福利一区二区三区在线观看 | 日韩精选在线观看 | 久久乐九色婷婷综合色狠狠182 | 亚洲专区欧美 | 丁香综合五月 | 激情欧美丁香 | 美女免费视频黄 | 少妇搡bbbb搡bbb搡忠贞 | 在线免费亚洲 | 日本久久免费视频 | 日韩av视屏 | 成人av一级片 | 黄色大全视频 | 欧美不卡视频在线 | 91av综合| 9797在线看片亚洲精品 | 国产精品一区在线 | 中文字幕精品一区久久久久 | 人人玩人人添人人澡97 | 色综合久久综合 | 美女免费视频一区 | 丁香婷婷久久久综合精品国产 | 可以免费观看的av片 | 日本最新一区二区三区 | 啪啪精品 | 91精品欧美一区二区三区 | 欧美日韩一区三区 | www视频在线播放 | 日韩电影在线一区二区 | 精品色综合 | av在线免费在线观看 | 美女性爽视频国产免费app | 国产在线观看,日本 | 国产高清视频在线播放 | 久草网站在线观看 | 亚洲综合欧美精品电影 | 成人免费在线看片 | 亚洲视频免费在线 | 五月婷婷中文网 | 久久亚洲免费视频 | 中文字幕精品一区久久久久 | 99爱这里只有精品 | 女人18片毛片90分钟 | 911久久香蕉国产线看观看 | 九九视频在线观看视频6 | 国产一区在线精品 | 国产伦精品一区二区三区高清 | 久久黄色免费视频 | 国产一区影院 | 九九激情视频 | 中文字幕人成不卡一区 | 九九久久精品视频 | 就要干b | 91福利专区 | 成人国产精品电影 | 91成人精品一区在线播放69 | 成年人视频免费在线 | 伊人婷婷在线 | 99在线精品免费视频九九视 | av高清网站在线观看 | 日韩国产精品久久 | 日韩在线观看一区二区三区 | 日本中出在线观看 | 中文av资源站 | 日本高清中文字幕有码在线 | 日日夜夜天天操 | 日韩精品视频网站 | 手机版av在线 | 欧美日韩国产mv | 欧美日韩中文字幕综合视频 | 国产黄色一级大片 | 亚洲免费国产视频 | 中文字幕在线一二 | 天天插综合 | 成人国产精品久久久久久亚洲 | 色婷丁香 | 五月开心激情网 | 亚洲最新av在线 | 黄色一级网 | 九九九九九九精品任你躁 | 九九精品久久久 | 婷婷色视频 | zzijzzij亚洲成熟少妇 | 韩国精品视频在线观看 | 久久狠狠干| 天天操天天射天天爱 | 韩日av一区二区 | 欧美视频二区 | 久久久久久久久久影视 | 日韩精品中文字幕在线观看 | 日韩精品免费在线观看 | 视频在线一区二区三区 | 成人黄色av免费在线观看 | 懂色av一区二区三区蜜臀 | 狠狠躁日日躁狂躁夜夜躁av | 国产小视频精品 | 在线观看免费黄视频 | 久久激情日本aⅴ | 精品视频不卡 | 日韩免费成人 | 九九久久影院 | 成人久久网 | 99精品国产成人一区二区 | 日韩高清观看 | 日韩欧美久久 | 亚洲视频精品 | 成人av一区二区兰花在线播放 | 亚洲国产剧情av | 色a资源在线 | 日韩欧美专区 | 色多视频在线观看 | 午夜精品久久久久久久99热影院 | 国产精品网红直播 | 天天干天天想 | 成人av资源 | 欧洲激情在线 | 天天爽夜夜爽人人爽曰av | 日韩欧美一区二区在线观看 | 国产精品免费视频网站 | 99色在线播放 | 国产精品va视频 | 国产精品一区二区免费视频 | 成人在线免费观看视视频 | 久草国产在线观看 | 日韩在线观看视频免费 | 久草在线免费资源站 | 在线色网站| 丁香影院在线 | 久久免费精品一区二区三区 | 在线观看日韩一区 | 在线观看久草 | 99久久成人 | 国产精品不卡在线播放 | 亚洲国产精品成人女人久久 | 国产91国语对白在线 | 美女性爽视频国产免费app | 日b视频在线观看网址 | 婷婷丁香导航 | 欧美一二三视频 | 亚洲在线a | 久久99热久久99精品 | 亚洲欧美视频网站 | 天天操天操| 成人免费视频播放 | 免费看一级一片 | 人人天天夜夜 | 天天射射天天 | 国产精品刺激对白麻豆99 | 国产999精品久久久久久 | 激情欧美一区二区三区 | 国产精品综合在线 | 蜜臀一区二区三区精品免费视频 | 久草在线观 | 日韩欧美视频一区二区 | a视频在线观看免费 | 精品视频免费久久久看 | 精品国产一区二区三区四 | 99中文字幕在线观看 | 欧美日韩不卡一区 | 久久人人爽人人片 | 精品久久久精品 | 国产精品永久久久久久久久久 | 欧美疯狂性受xxxxx另类 | 久青草影院 | 国产精品一区二区三区99 | 久久综合在线 | 天天舔天天搞 | 久久久精品日本 | 久久久精品网站 | 黄色av成人在线 | 最新超碰| 久久99精品久久久久久秒播蜜臀 | 91丨porny丨九色 | 久久精品老司机 | 麻豆视传媒官网免费观看 | 日韩精品一区二区三区免费视频观看 | 亚洲成人av片在线观看 | 国产精品porn | 在线观看亚洲成人 | 91精品在线播放 | 99久久国产免费免费 | 麻豆视频www| 亚洲精品国偷拍自产在线观看 | 日韩在线视频不卡 | av字幕在线 | 国产午夜精品一区二区三区嫩草 | 欧美日韩一区二区三区在线观看视频 | 在线观看黄 | 日日爽视频 | 国产成人在线观看免费 | 国产小视频国产精品 | 99亚洲精品在线 | 欧美视频国产视频 | 九九久久久 | 亚洲激情一区二区三区 | 最近中文字幕视频完整版 | 精品欧美一区二区三区久久久 | 亚洲国产午夜视频 | 手机成人在线电影 | 免费看特级毛片 | 精品国产一区二区三区久久影院 | 国产高清久久久 | 91精品视频在线看 | 精品乱码一区二区三四区 | 久久狠狠婷婷 | 三级午夜片| 天天操天天爽天天干 | 亚洲欧洲精品一区二区精品久久久 | 日韩有码网站 | 天天色天天艹 | 久久精品a | 三级黄色在线 | 国产福利精品一区二区 | 欧美最新另类人妖 | 手机版av在线 | 精选久久 | 国产69精品久久久久久久久久 | 99精品视频在线观看视频 | 一级α片免费看 | 99精品福利 | 免费在线精品视频 | 97视频免费看 | 国产视频精品网 | 在线激情网 | 亚洲va在线va天堂va偷拍 | 91精品欧美 | 福利一区二区三区四区 | 日韩xxxx视频 | 久久国产精品久久w女人spa | 一区二区三区国产精品 | www.在线观看视频 | a亚洲视频| 天天操天天干天天插 | 免费日韩精品 | 欧美人体xx| 9999免费视频 | 人人玩人人添人人澡97 | 亚洲国产97在线精品一区 | 97超碰在线人人 | 国产美腿白丝袜足在线av | 一级黄色大片 | 欧美一级电影免费观看 | 黄色小说网站在线 | 婷婷在线不卡 | 色多多污污在线观看 | 九九九免费视频 | 久久久免费毛片 | 免费a视频| 亚洲欧洲日韩在线观看 | 久久国产精品免费一区 | 日韩一区二区三区免费视频 | 亚洲国产网站 | 99久久精品日本一区二区免费 | 国产资源av| 91在线入口 | 黄色电影在线免费观看 | 996久久国产精品线观看 | 亚州日韩中文字幕 | 久久久久免费精品国产小说色大师 | 欧美精品亚州精品 | 成人黄色资源 | 国产亚洲视频中文字幕视频 | 国产免费一区二区三区最新6 | 国产呻吟在线 | 99精品毛片 | 在线免费观看国产黄色 | 国产精品免费在线播放 | 国产午夜精品一区二区三区 | 91丨九色丨蝌蚪丰满 | a级免费观看 | 91九色蝌蚪在线 | 日韩精品 在线视频 | 久久免费a | 午夜在线国产 | 成人蜜桃网 | 激情影院在线 | 国产精彩在线视频 | 国产高清av免费在线观看 | 日韩一区二区三免费高清在线观看 | 中文字幕成人 | 操操操日日 | 国产日产精品久久久久快鸭 | 久久爱www. | 色视频在线 | 超碰在线99 | 久久 国产一区 | 久久精品亚洲综合专区 | 国产美女在线免费观看 | 五月天天av | 国产午夜不卡 | 中日韩欧美精彩视频 | 久久国产精品免费看 | 成人精品视频 | 激情久久一区二区三区 | 国产黄色av网站 | 久久色视频 | 亚洲三区在线 | 日本一区二区三区免费看 | 在线久草视频 | 久久久久久久久久国产精品 | 欧美国产一区二区 | av在线免费在线 | 国产黄色在线网站 | 国产黄色成人 | 精品国产aⅴ麻豆 | 99精品久久久久久久久久综合 | 成人免费 在线播放 | 二区三区中文字幕 | 爱情影院aqdy鲁丝片二区 | 超碰99在线 | 粉嫩高清一区二区三区 | 韩日精品在线观看 | 99色视频在线 | 亚洲欧美日韩在线看 | 欧美午夜视频在线 | 九九久久视频 | www.夜夜操.com | 亚洲精品www久久久久久 | 五月天婷亚洲天综合网鲁鲁鲁 | 91日韩在线| 最近更新中文字幕 | 免费a网址 | 欧美精品黑人性xxxx | 黄色小视频在线观看免费 | a在线观看免费视频 | 亚州精品一二三区 | 狠狠色丁婷婷日日 | 992tv在线成人免费观看 | 久久夜夜操| 欧美日韩国产色综合一二三四 | 久草在线观看资源 | 免费国产ww | 国产99久久久精品视频 | 在线草 | 成人免费毛片aaaaaa片 | 99久久久国产精品免费99 | 日韩二区三区在线 | 狠狠色丁香婷婷综合久小说久 | wwxxxx日本| 国产专区精品视频 | 人人精品 | 最近中文字幕在线中文高清版 | 色香com.| 亚洲1区在线 | 麻豆国产精品一区二区三区 | 久草干| 亚洲综合小说电影qvod | 一区在线电影 | 特级毛片aaa| 久久免费国产精品1 | 午夜在线免费观看 | 在线亚洲人成电影网站色www | 婷婷亚洲最大 | 国产精品婷婷 | 日本成人黄色片 | 国产一区二区高清不卡 | 超碰在线日本 | 欧美一区成人 | 久久理论片| 久久这里只有精品首页 | 免费日韩 | 久久综合久久八八 | 免费a视频在线 | 亚洲va天堂va欧美ⅴa在线 | 国产玖玖在线 | 伊人久在线 | 欧美极品xxx | 国产亚洲精品中文字幕 | av电影一区二区三区 | 中日韩免费视频 | 免费看色视频 | 日韩色在线观看 | 日日干日日色 | 欧美日韩中文在线视频 | 国产精品白虎 |