本文轉(zhuǎn)自: [url]http://www-cn.netapp.com/news/techontap/2006/oct/1006tot_labreport.htm[/url] Nick Triantos 著 擁有大量服務(wù)器的企業(yè)正逐漸轉(zhuǎn)向無磁盤服務(wù)器，可以從 SAN (FC 或 IP) 引導(dǎo)，從而減少成本、合并存儲(chǔ)并優(yōu)化供應(yīng)。盡管 SAN 引導(dǎo)不是新技術(shù)，刀片式服務(wù)器的引入可以有助于加速它的采用。刀片式服務(wù)器提供更好的可管理性、減少了硬盤成本并簡化了電纜管理，以及節(jié)省了電能、冷卻和×××成本。 從 SAN 引導(dǎo)的最常用平臺(tái)之一是 VMware ESX 服務(wù)器。越來越多的企業(yè)正部署 VMware ESX 服務(wù)，以將許許多多的物理服務(wù)器合并到單刀片機(jī)箱中少量的無磁盤刀片式服務(wù)器中。其它的企業(yè)已著手使用單獨(dú)的 1U 基于 Intel 的服務(wù)器部署 VMware。 已知現(xiàn)在的大多數(shù)服務(wù)器都附帶內(nèi)部 SATA 驅(qū)動(dòng)器（不支持其托管 ESX 服務(wù)器影像），SAN 引導(dǎo)成為最具吸引力的選擇。基于存儲(chǔ)的快照、克隆和復(fù)制技術(shù)提供附加的優(yōu)勢，可以快速從克隆或快照來恢復(fù)損壞的 ESX 圖像，并將其存儲(chǔ)在相同的物理服務(wù)器上或?qū)⑵鋸?fù)制到遠(yuǎn)程站點(diǎn)作為 DR 用途。
比較
ESX Server 2.5.x 和 3.0.x
的 SAN 引導(dǎo)要求（單擊放大） 與大多數(shù)技術(shù)供應(yīng)商一樣，Network Appliance 在其大量的主要銷售辦公室都有實(shí)驗(yàn)室。這些實(shí)驗(yàn)室主要用于技術(shù)演示，并利用各種操作系統(tǒng)和第三方軟件。NetApp 達(dá)拉斯辦公室也有一個(gè)系統(tǒng)工程實(shí)驗(yàn)室，NetApp SE 可以深入鉆研特定的技術(shù)。自從 2.5.1 發(fā)布以來，此實(shí)驗(yàn)室包括了 VMware ESX 服務(wù)器環(huán)境，而自從 2.5.3 發(fā)布以來我們已經(jīng)從光纖引導(dǎo) ESX 服務(wù)器。 八月份，我決定升級(jí)到新的 ESX 3.0.0 版本來了解一下變化，立即被其結(jié)果完全吸引。 使用 ESX 3.0.0，VMware 在支持從 SAN 引導(dǎo)方面取得了重大的進(jìn)步。簡化了以前版本的多種要求。根據(jù)我的體驗(yàn)，安裝過程快速而簡單并且 — 至少在測試目的方面 — 環(huán)境可以完美地運(yùn)行。

設(shè)置 ESX 3.0.0 for SAN Boot

設(shè)置附帶 NetApp 存儲(chǔ)的 VMware for SAN boot 非常容易。整個(gè)過程不超過 20 或 25 分鐘，從提供引導(dǎo) LUN 時(shí)間到 ESX 影像安裝完成的時(shí)間。 下表顯示我們的設(shè)置。

服務(wù)器	IBM x346
CPU	2x Xeon 3.2GHz
內(nèi)存	8GB
FC HBA	2x QLA 2340
FC 交換機(jī)	MDS 9120
外部存儲(chǔ)	NetApp FAS3050c
表 1.NetApp SE 實(shí)驗(yàn)室設(shè)置

安裝之后，開始創(chuàng)建虛擬機(jī) (VM) 并安裝客機(jī)操作系統(tǒng)。我選擇用 iSCSI 在 LUN 上安裝 VM，以便可以了解 VMware 的實(shí)施。配置 iSCSI initiator 非常簡單，可以毫無問題地安裝客機(jī)操作系統(tǒng)。已知當(dāng)前 ESX 不提供 iSCSI LUN 的多路徑機(jī)制，我選擇實(shí)施 NIC 隊(duì)列，本質(zhì)上用作相同的目的。

對(duì)默認(rèn) ESX 3.0.0 的建議編輯。配置

當(dāng)前實(shí)驗(yàn)室環(huán)境的屏幕快照
（單擊放大） 如果對(duì) SAN boot with ESX 3.0.0 感興趣，則需要考慮一些問題。首先，建議在做出購買任何 HBA 的決定之前，先聯(lián)系存儲(chǔ)供應(yīng)商，認(rèn)真地查看 VMware ESX Server 3.0 的 I/O 兼容性指南。會(huì)發(fā)現(xiàn)某些型號(hào)的 HBA 不支持 SAN 引導(dǎo)。 此外，需要作出許多調(diào)整優(yōu)化和自定義才能達(dá)到更高的性能，并在硬件故障時(shí)不會(huì)發(fā)生中斷容錯(cuò)。建議對(duì)默認(rèn)的 ESX Server 3.0.0 設(shè)置進(jìn)行三個(gè)簡單的更改：

• 僅在 1 HBA 上啟用 BIOS。
• 修改執(zhí)行調(diào)節(jié)/隊(duì)列深度。
• 修改 PortDownRetryCount 參數(shù)。

在以下章節(jié)對(duì)每一點(diǎn)都進(jìn)行了詳細(xì)描述。但是，請(qǐng)牢記此設(shè)備沒有經(jīng)過完全測試或經(jīng)過 NetApp 工程的批準(zhǔn)，因此不斷定它是所有環(huán)境的正確答案。

技巧 #1：僅在 1 HBA上啟用 BIOS。

僅在用于引導(dǎo)的原始 HBA、電纜或 FC 開關(guān)失效而需要重新啟動(dòng)服務(wù)器時(shí)，才在第 2 個(gè) HBA 上啟用 BIOS。在此情況下，可以使用 QLogic Fast!UTIL 選擇活動(dòng)的 HBA、啟用 BIOS、掃描 BUS，以此來查找引導(dǎo) LUN 并將 WWPN 和 LUN ID 分配給活動(dòng)的 HBA。但是，兩個(gè) HBA 連接都作用時(shí)，僅有一個(gè)連接需要啟用 BIOS。

技巧 #2：修改執(zhí)行調(diào)節(jié)/隊(duì)列深度。

執(zhí)行調(diào)節(jié)/隊(duì)列深度表示可以在任何一個(gè) HBA 端口執(zhí)行的顯著命令的最大數(shù)目。ESX 3.0.0 默認(rèn)為 32，但是環(huán)境的最佳值取決于以下兩個(gè)因素：

• 通過陣列目標(biāo)端口暴露的 LUN 總數(shù)目
• 陣列目標(biāo)端口隊(duì)列深度

確定該值的公式是：

隊(duì)列深度 = 目標(biāo)隊(duì)列深度 / 從陣列映射的 LUN 總數(shù)目

此公式將保證每個(gè) LUN 上并行的快速加載不會(huì)充斥目標(biāo)端口，造成 QFULL 情形。QFULL 情形表示目標(biāo)端口不能處理能力以外的 I/O。在大多數(shù)操作系統(tǒng)中，接收到目標(biāo)的 QFULL 情形之后，HBA 驅(qū)動(dòng)器通常將 LUN 的最大隊(duì)列深度減小到最小值，通常為“1”，從而將 I/O 隊(duì)列調(diào)節(jié)到目標(biāo)端口。當(dāng)目標(biāo)停止發(fā)出 QFULL 情形時(shí)，HBA 驅(qū)動(dòng)器將開始逐漸增加 LUN 隊(duì)列深度值，從而緩慢地將 I/O 增加到目標(biāo)端口。 下面是一個(gè)示例，說明以上公式如何有助于避免 QFULL 情形。如果目標(biāo)端口具有 1024 的隊(duì)列深度并且通過該端口暴露 64 LUN，則每個(gè)主機(jī)上的隊(duì)列深度設(shè)置為每 LUN 16 個(gè)顯著 I/O。這是最安全的方案，保證不會(huì)出現(xiàn) QFULL 情形：

每 LUN 16 個(gè)顯著 I/O x 64 LUN = 目標(biāo)端口隊(duì)列深度

但是請(qǐng)注意。如果使用以上公式單獨(dú)計(jì)算每個(gè)主機(jī)的隊(duì)列深度，則仍有出現(xiàn) QFULL 情形的可能。 原因如下。現(xiàn)在詳述以前的示例，并假定共有 64 LUN 和四個(gè) ESX 主機(jī)，每個(gè)主機(jī)映射 16 LUN。 對(duì)每個(gè) ESX 主機(jī)單獨(dú)進(jìn)行計(jì)算得出：隊(duì)列深度 = 1024 / 16 LUN = 每 LUN 64 個(gè)顯著 I/O。但是，在四個(gè) ESX 服務(wù)器中全部 64 LUN 上同時(shí)快速加載將得出：每 LUN 64 個(gè)顯著 I/O x 64 LUN = 4096，比物理陣列目標(biāo)端口的隊(duì)列深度大得多。這是一種不合要求的情形，在特定條件下將生成 QFULL 并調(diào)節(jié) I/O。

要改變 QLogic HBA 上的隊(duì)列深度

?

請(qǐng)創(chuàng)建 /etc/vmware/esx.conf 副本。

查找每個(gè) HBA 的以下條目：
/device/002:02.0/name = "QLogic Corp QLA231x/2340 (rev 02)"
/device/002:02.0/options = ""

c) 按如下所示修改：
/device/002:02.0/name = "QLogic Corp QLA231x/2340 (rev 02)"
/device/002:02.0/options = "ql2xmaxqdepth= xxx"
，其中 xxx 為隊(duì)列深度值。

重新啟動(dòng)。

技巧 #3：修改 PortDownRetryCount 參數(shù)。

PortDownRetryCount 參數(shù)值必須設(shè)置為存儲(chǔ)供應(yīng)商推薦的值，使用 Fast!UTIL。此設(shè)置指定適配器驅(qū)動(dòng)程序向返回端口故障 (Port Down) 狀態(tài)的端口發(fā)出重試命令的次數(shù)。此值對(duì)于 ESX 服務(wù)器是 2* n +5，其中 n 是 HBA BIOS 中的 PortDownRetryCount 的值。 可以在 HBA 中直接更改此值，也可以在安裝 ESX 之后通過編輯 /etc/vmware/esx.conf 文件更改此值。要編輯該文件，請(qǐng)查找正使用的 HBA 模型下的“options=”條目，進(jìn)行以下更改。

要更改 PortDownRetryCount 參數(shù)

?

請(qǐng)創(chuàng)建 /etc/vmware/esx.conf 副本。

查找每個(gè) HBA 的以下條目：
/device/002:02.0/name = "QLogic Corp QLA231x/2340 (rev 02)"
/device/002:02.0/options = ""

按如下所示修改：
/device/002:02.0/name = "QLogic Corp QLA231x/2340 (rev 02)"
/device/002:02.0/options = "qlport_down_retry= xxx"
，其中 xxx 為存儲(chǔ)供應(yīng)商推薦的值。Emulex HBAs 的等效設(shè)置為“l(fā)pfc_nodedev_tmo”。默認(rèn)值為“30”。

重新啟動(dòng)。

總體評(píng)估

到目前為止，我使用 SAN 引導(dǎo) VMware ESX 3.0.0 只有好的體驗(yàn)。從程序上來看，過程當(dāng)然比以前版本要簡單得多。此外，我發(fā)現(xiàn) ESX 主機(jī)在存儲(chǔ)控制器容錯(cuò)測試過程中的可靠性現(xiàn)在也非常堅(jiān)固。

轉(zhuǎn)載于:https://blog.51cto.com/virtualman/34970

總結(jié)

以上是生活随笔為你收集整理的NetApp SE 实验室报告：SAN Boot with VMware ESX 3.0.0的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。