將1500節點無盤服務器群發展成完全虛擬化系統

這位具有22年經驗的行業老手在 2000 年加入 NetApp 之前就曾擔任過工程師、系統管理員和 IT 經理等多個職位。Gregg 在幫助建立了原來的 NetApp 北卡羅來納州分公司后，在該處擔任了 4 年多的系統工程師，之后又回到 NetApp 工程 IT 團隊。

憑借在客戶環境方面的多年經驗，他構想并設計了 Kilo-Client 測試實驗室。他目前管理一支五人團隊，該團隊平均支持 12 至 14 個虛擬環境并管理 1,498 個刀片、7102 個 Fabric 端口及 87 個涵蓋 1038TB 存儲的存儲控制器。

我們最初是想把工程測試實驗室設在三角研究園，以滿足 NetApp 內部不斷增長需求：能夠針對大型網格或服務器群測試產品，并快速重現顧客在這種環境中可能遇到的問題。我們最初計劃使用服務器刀片，其中每個刀片都是從本地磁盤啟動。但隨著項目進展我們開始明白，將啟動映像復制到上千個本地磁盤所需的時間和管理開銷，會導致配置和管理集群的時間超過運行實際測試。

因此，我們在設計測試實驗室時包括了通過 iSCSI 啟動的 1,120 個服務器刀片。我們給這個實驗室取名為 Kilo-Client，并相信其在 2005 年啟動時會成為全世界最大的基于 iSCSI 的無盤服務器群（可能現在還是！）。后來我們還添加了 98 個帶 iSCSI HBA 的刀片和 280 個能夠通過光纖通道啟動的刀片。查看特定硬件和軟件組件的選項。

結果：1,500 節點服務器群將高度的性能和靈活性融入到僅占 389 平方英尺多一點的空間中。

盡管 Kilo-Client 目前多少仍保持著它在開始時的動機，但這個實驗室已經發展到了可與新興技術媲美的程度。此外，在過去的兩年中，我們掌握了許多有關操作和維護大型環境的知識。本文著重介紹了目前測試實驗室設計當中客戶和合作伙伴最感興趣的幾個方面，包括：

  快速配置服務器
配置虛擬環境
通過 iSCSI、FC 和 NFS 啟動
通過 10 千兆位以太網實現 iSCSI
管理自動化
簡化配置
數據中心冷卻

但在深入探究之前，我想讓大家明白 Kilo-Client 僅建立在五、六種不同技術的基礎之上，其中每種技術目前都在成百上千個 NetApp 客戶的網站上使用。建立體系結構很大程度上就是將所有這些要素整合到單個基礎設施中，其中每個要素我都在擔任 NetApp 系統工程師時接觸過。

簡言之：每一位 NetApp 客戶都可以利用我們測試實驗室中的一切資源。

快速配置服務器

我們早期的一個目標是快速配置能夠符合特定測試特點的計算網格。這就意味著必須能夠通過任意操作系統/應用程序環境快速啟動服務器。我們使用 NetApp FlexClone? 技術解決了此問題，從而能夠快速創建系統映像，而無需對這些映像進行完全的物理拷貝。

這樣，就為服務器群中所需的每個操作系統和應用程序堆棧創建一套"黃金"啟動映像（如 iSCSI、光纖通道 SAN LUN）。使用 SnapMirror 和 FlexClone，我們可快速復制出數百個克隆（每臺配置用于測試的服務器一個 FlexClone 克隆）；僅需將特定于主機的"個性化"添加到每個受配置服務器的核心映像。這種獨特方法提供的近乎即時的映像配置幾乎不占任何空間（只需將不同的映像塊添加到存儲系統，由存儲系統來跟蹤各個映像），從而使我們在數分鐘內即可配置并啟動全部或部分近 1500 個刀片。

虛擬環境

盡管我們的方法非常有效，我們最終發現僅配置服務器環境還不夠。NetApp 工程師需要、并且我們必須能夠做到的就是快速配置完整的虛擬環境，其中包括計算網格、互連 Fabric 及存儲網格。

這正是我們現在所做的工作。我們可以自動配置幾乎可運行所有操作系統（包括 VMware）的計算網格，并通過 vLAN (IP)、vSAN（光纖通道）、NFS 甚至通過 CIFS（我們無法通過 CIFS 啟動，但可以測試 CIFS 功能）將其連接至五個可能的存儲網格中的任意一個。

典型的虛擬環境（可能包括 100 個服務器、多個操作系統及五至六個存儲控制器）通常可在一個小時或更短時間內就可啟動運行。我們創建過的最復雜的環境花了近 10 個小時才啟動運行，它包括 500 個服務器、30 個 NetApp FAS 6070、72 個 300GB FC 驅動器托架（約 500TB）及 Data ONTAP GX 操作系統。

無論何時，我們的實驗室都在運行著 12 到 15 個虛擬環境，用于從產品和互操作性測試、故障診斷到概念驗證測試的一切任務。您可以通過中斷服務器并創建該系統的空間高效的派生克隆（使用 FlexClone）來預先進行測試。

甚至在其它系統上（雖然具有同樣的體系結構），也可以保存或與其他用戶共享任何環境的測試配置，并在數月或數年后重新運行。構建環境之后，再也不需要重新構建。比如說，我們構建了 Red Hat Linux環境并且團隊要求該環境加載 Oracle 10g。測試完畢后，他們可以創建克隆，并且將來必要時可重新使用該預配置環境。

最后一個要強調的是，您可以在世界各地訪問和管理這些虛擬環境。在 NetApp 全球六個公司就職的工程師或全球任何位置的 NetApp 系統工程師都可以遠程規劃資源并運行測試。

最初的 Kilo-Client 設計允許我們使用硬件啟動端 (iSCSI HBA) 通過 iSCSI 來啟動服務器刀片。現在我們可使用以下四種方法種的任意一種來啟動服務器：

使用硬件啟動端（1,218 個刀片）通過 iSCSI 來啟動
使用軟件啟動端（整個環境）通過 iSCSI來啟動
使用 FC HBA（280 個刀片）通過光纖通道來啟動)
通過 NFS（整個環境）來啟動

這樣我們就可以測試并比較各種環境和啟動方法。如果我們并非專門測試啟動方法，則可根據測試要求來定制方法。比如，如果有人想通過故障注入來執行光纖通道測試，我們一般會通過 iSCSI 或 NFS 來啟動正用于進行其它測試的服務器，從而閑置光纖通道以便進行測試。

通過 10GBE 實現 iSCSI

不久以前，在 blade.org 贊助的一次活動中有人要求我就 Kilo-Client 的設計發表演講。我講完之后，幾乎在場的所有供應商都希望把他/她的新技術出售給我用于 Kilo-Client。某個銷售人員過度熱情，我甚至躲進了洗手間！

到家時，我看了一下那些硬塞給我的所有名片，發現有幾個供應商可提供 10 千兆位以太網產品。我給他們一一打了電話，最后我們通過 IBM Blade Center 制作了一個測試套件，連接 NetApp 集群的 NetXen 控制器也配備了 10 千兆位以太網卡。

最后確定了采用端到端 10 千兆位以太網的配置，可使用 iSCSI 進行無盤啟動。我們將該配置帶到了新奧爾良的一次活動當中，在那里引起了廣泛的關注，該硬件又相繼在巴黎和新加坡展出（盡管我沒有去）。

到目前為止，我們已完成大部分功能測試，該體系結構讓我們能夠對 10 千兆位以太網與光纖通道以及希望測試的其它產品進行大范圍的性能比較。

自動化配置管理

創建 Kilo-Client 時，我們有一些腳本可用來幫助處理配置及相關事項。由于可以隨意使用，這是薄弱的環節。現在，我們的工作遵循可預測模式，這包括規劃'配置'監控'根據負載調節資源'撤消配置'重新規劃，等等。

我們有一個自動化框架，可以處理所有這些任務的大約 70%，這是一個很大的進步。受困于可擴展性問題的客戶對我們的管理方法很感興趣，因為它體現了數量極為有限的員工可以如何有效地管理動態、高容量、高要求的環境。

簡化配置

在 Gartner 的一名分析人員指出 Kilo-Client 是現實中的一個規模最大、最好的簡化配置實例之前，我實際上從未將"簡化配置"這個術語與 Kilo-Client 關聯起來。他說得對，我們的實驗室極具空間效益，可提供 1500 倍以上的容量效率，因為克隆映像 (LUN) 僅占用啟動映像更改所需的額外磁盤空間。

比如，我們想使用 Red Hat Linux 啟動所有 1,498 個服務器。我們的測試實驗室需要的存儲總量是 7.63TB（假定七個啟動存儲系統每個需要 20GB，每個刀片需要 5GB）。在傳統的服務器群（甚至采用傳統的無盤啟動）中，每個服務器足足需要 20GB，這樣我們的存儲總量就需要 30TB。天啊！正如我前面所說，配置和管理集群所花的時間比運行測試的時間還要多。

針對緊密配置的冷卻設計

人們經常問我一個問題，"您究竟有什么辦法來冷卻這個龐然大物？"其部分原因與我描述的簡化配置的特點有關：它需要冷卻的熱量遠不及傳統環境中的熱量。

固然，將 1,500 個刀片、7102 個 Fabric 端口和 87 個存儲控制器集中到一個區域，設備確實是非常密集。在我們原來的數據中心，我們采用的是一種熱通道/冷通道方法。我們在設備的前面（吸入空氣的地方）添加了額外的冷卻設備，從而制作了一個冷通道。這使得由前至后形成了 30 度角。

最近我們遷移到了新的數據中心，并在新實驗室中采取了一種不同的方法-建立了一個制冷室。我們購買了全新的地板到天花板式機柜，并確保由前至后的所有縫隙都已完全密封，從而形成一個空調系統。

設備前面的冷氣只能在設備內流動，并且也決不會與設備后面散出的熱氣混合在一起。冷空氣一側的氣壓也要稍高一些，以確保氣流僅往一個方向流動。使用此方法，我們在實驗室中實現了約 8 千瓦的冷卻效果，而先前的設計只能達到 4 千瓦。

有時，一些來訪者會詢問我們是否使用受控電源條帶來給那些未使用的客戶端斷電。實話說，我們甚至都沒這樣想過，因為從第一天起我們的目標就一直是要達到 100% 的利用率。這些服務器都受到 100% 的利用，并且會徹夜運行自動化測試，因此從來不會關閉。

摘要

在過去的兩年中，我們掌握了許多有關管理大型環境的知識。我們也從客戶和分析人士那里了解到該體系結構影響到了他們考慮技術和數據中心設計的方式。主要優點包括：

  服務器配置時間大幅縮減
在基礎設施的快速重新配置方面實現了極大的靈活性
只需小型團隊即可管理基礎設施
保存并重新使用已經配置的環境

該基礎設施的最終保證是可擴展性強。公司如何在不增加 30% 比率的硬件的情況下實現 30% 的增長？許多公司都無法繼續快速地擴建數據中心來適應增長，并且我們現在所使用的技術類型可能要依掌握時間而定。

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]