面對虛擬化、容器化、監(jiān)控、備份等工作負(fù)載，現(xiàn)代企業(yè)和公司比以往任何時(shí)候都更需要大規(guī)模的多功能存儲，而性能是一切的關(guān)鍵。為此，東芝團(tuán)隊(duì)在其實(shí)驗(yàn)室中展開一項(xiàng)測試，使用東芝新一代企業(yè)級容量型 MG 系列 HDD (22TB SAS 12Gb/s 型號 MG10SFA22TE ) ，并安裝在 QSAN 旗艦產(chǎn)品 XN5124D 中（圖 1）。這是一款 4U/24盤位的整合式存儲設(shè)備，可以用作網(wǎng)絡(luò)附加存儲 (NAS) 來提供共享文件夾/文件系統(tǒng)，也可以作為專用存儲區(qū)域網(wǎng)絡(luò) (SAN)（如 iSCSI、光纖通道）的塊存儲運(yùn)行，甚至可以同時(shí)用作 NAS 和 SAN。QSAN 將其宣傳為“最新一代 XCubeNXT，利用業(yè)界領(lǐng)先的多功能性來處理混合工作負(fù)載。”此外，該設(shè)備高可用度且安全的多協(xié)議和跨 QSAN 平臺支持，可為高容量需求應(yīng)用提供最佳的總擁有成本 (TCO)。

配置和性能比較

重點(diǎn)關(guān)注最大性能

在之前的 24 盤位存儲設(shè)備（如 QSAN XN8024D）的實(shí)驗(yàn)室報(bào)告中，最大性能受限于網(wǎng)絡(luò)接口（通常為 10GbE），最高傳輸速度為 1200 MB/s。由于這個(gè)限制，我們目前還無法評估該裝置的性能極限。實(shí)驗(yàn)室中的 XN5124D 型號，是第一款配備 25GbE 接口的 24 盤位存儲設(shè)備，因此我們重點(diǎn)評估不同 HDD 配置的最高性能。

設(shè)置

XN5124D 配備雙控制器架構(gòu)，因此最適合大容量 SAS 近線 HDD。機(jī)架式，具有從網(wǎng)絡(luò)到 HDD 訪問的雙路徑以及雙重/冗余電源，非常適合企業(yè)級應(yīng)用。為了實(shí)現(xiàn)大規(guī)模部署，我們安裝了東芝企業(yè)級容量型 MG 系列的當(dāng)前熱門型號，22TB SAS 12Gb/s 型號 MG10SFA22TE。

每個(gè)控制器默認(rèn)配備 4 個(gè)10GbE SFP+ 通道、一個(gè) 1GbE RJ45 管理端口和兩個(gè) SFF-8644 (mini-SAS-HD) 端口，可使用外部 JBOD 擴(kuò)展容量。兩個(gè)子模塊插槽支持升級不同的連接技術(shù)，例如光纖通道，或者本例中帶有兩個(gè) SFP28 端口的 25GbE。我們通過 SFP28 直連銅纜將每個(gè)控制器單元的一個(gè)端口連接到應(yīng)用程序服務(wù)器（圖 2）。

僅供參考：我們測試的型號版本為 XN5124D-044C20，控制器固件為 4.0.2。

HDD配置

為了進(jìn)行性能評估，我們創(chuàng)建了一個(gè)包含 24 個(gè) HDD 磁盤組的池 (Pool) ，這些磁盤組采用不同的 RAID 級別配置（表 1）。

表 1：RAID 設(shè)置和存儲效率

RAID6 of 24 HDDs：一個(gè)具有雙重奇偶校驗(yàn) (Double Parity) 的 RAID 配置。擁有 22 個(gè) HDD 的凈容量，并且由于雙重奇偶校驗(yàn)而具有較高的數(shù)據(jù)保護(hù)級別。如果一個(gè)驅(qū)動(dòng)器發(fā)生故障，數(shù)據(jù)仍然受到第二個(gè)奇偶校驗(yàn)的保護(hù)。Pool效率為 92%（24 個(gè) HDD 中有 22 個(gè)承載用戶數(shù)據(jù)），或者說 528TB 總安裝容量中有 484TB 可用容量。

RAID60 of 24 HDDs, 具有不同數(shù)量子陣列 (2/4/6)：RAID60（相當(dāng)于多個(gè) RAID6 組條帶化結(jié)合在一起）允許更快速地并行訪問磁盤。但每個(gè)子陣列都需要兩個(gè)奇偶校驗(yàn)單元，Pool效率降低——陣列越多，效率越低。

RAID10 of 24 HDDs：該配置由 12 個(gè)子陣列組成，每個(gè)陣列在兩個(gè)磁盤上有鏡像數(shù)據(jù)。這種配置在寫入方面相當(dāng)高效，尤其是隨機(jī)寫入，因?yàn)椴恍枰?jì)算奇偶校驗(yàn)信息——數(shù)據(jù)只是簡單鏡像而已。也因此，效率下降到 50%，這對于所有基于鏡像的配置來說都是典型現(xiàn)象，并且與 RAID6x 類型的數(shù)據(jù)保護(hù)相比，RAID10 并不是嚴(yán)格的雙重保護(hù)。如果一個(gè)鏡像發(fā)生故障，數(shù)據(jù)僅存在于剩余的一個(gè)未受保護(hù)的鏡像磁盤上。

在具有上述 RAID 級別的Pool中，我們安裝了一些卷，其中一個(gè) 50TB 的卷始終作為 LUN 連接到 iSCSI 主機(jī)組（圖 3）。此 iSCSI LUN 連接到到一個(gè)應(yīng)用服務(wù)器，作為一個(gè) Windows 物理盤。我們使用“fio”基準(zhǔn)測試評估該物理盤的性能、同時(shí)也測量了HDD的 溫度和功耗。

所有測量都是在block volume狀態(tài)在線（即完全初始化）的情況下完成的，對于奇偶校驗(yàn) RAID 級別（例如 RAID6 和 RAID60），10TB volume容量大約需要兩個(gè)小時(shí)。

設(shè)置如下（表 2）：

表 2：Pool/Volume設(shè)置

圖 3：QSAN 的 QSM GUI 中的Pool/Volume配置

表 3：性能測量結(jié)果

順序讀取性能約為 2700 MB/s，與應(yīng)用服務(wù)器的 25GbE iSCSI 連接速度相匹配，因此速度由網(wǎng)絡(luò)決定，而不是由 RAID 級別決定。無論 RAID 級別如何，順序?qū)懭胨俣榷荚?1500 MB/s 左右。這表明，由于 RAID6 級別具有較高的存儲效率，實(shí)際上是順序訪問（存檔、流媒體、視頻）為主的工作負(fù)載的最佳解決方案。任何并行性更高的磁盤訪問配置（如 RAID60 或 RAID10）都不會(huì)帶來更高的性能，而只會(huì)減少可用的存儲容量。

即使對于隨機(jī)讀取（對于 AI/視頻分析類型的應(yīng)用程序很重要），RAID6 表現(xiàn)出最高的 IOPS 性能，因?yàn)樵谶@種配置下，數(shù)據(jù)分布在最多數(shù)量的有效磁盤上（24 個(gè)中的 22 個(gè)）。

對于以隨機(jī)寫入為主的工作負(fù)載（例如，活躍目錄/數(shù)據(jù)庫和電子郵件服務(wù)/虛擬化），具有更多子陣列的 RAID60 并行結(jié)構(gòu)可提供更高的性能。對于 RAID10 也是如此，沒有奇偶校驗(yàn)操作，只是簡單的數(shù)據(jù)鏡像，性能甚至能高達(dá) 8k IOPS。因此，如果 HDD 大容量存儲的寫入性能至關(guān)重要，則 RAID10 是最佳配置。

雖然 RAID10 的存儲效率較低，但其保護(hù)級別不如 RAID6 和 RAID60 高 - 因?yàn)榘l(fā)生錯(cuò)誤的兩個(gè)故障HDD如果位于同一個(gè)鏡像，那么就會(huì)導(dǎo)致數(shù)據(jù)丟失，而在 RAID6/60 中，即使任意兩個(gè)驅(qū)動(dòng)器發(fā)生故障，也不會(huì)導(dǎo)致丟失數(shù)據(jù)。

此外，對于上述隨機(jī)類型工作負(fù)載，SSD 緩存有機(jī)會(huì)提供顯著的性能優(yōu)勢。但由于提升的程度高度取決于工作負(fù)載的實(shí)際情況，因此這個(gè)選項(xiàng)不在本實(shí)驗(yàn)室評估的范圍內(nèi)。

功率和溫度測量

表 4：功耗測量

該型號配備了東芝 MG10SFA22TE類型的高容量 HDD，為降低 IT 和數(shù)據(jù)中心存儲功耗做出了重要且重大的貢獻(xiàn)，測得的最高功耗值不到 500W，對于高達(dá)半 PB 的凈存儲，平均功耗為 400W，包含高速網(wǎng)絡(luò)接口，整體工作功耗不到 1kW/PB，這是一個(gè)非常優(yōu)秀的數(shù)值。

東芝 MG 系列 HDD 的內(nèi)部溫度最高可至 60°C，可見 42°C 的最高溫度遠(yuǎn)遠(yuǎn)沒有達(dá)到極限值。但長期可靠性在平均溫度或恒定溫度超過 42°C 時(shí)往往會(huì)下降。因此，為了獲得盡可能高的長期可靠性，保持環(huán)境溫度在 24°C，以確保在較長時(shí)間內(nèi) HDD 溫度不會(huì)超過 42°C 。

測量腳本

使用 fio 進(jìn)行測量。列出指令以供參考：

結(jié)論

經(jīng)測試的 QSAN XN5124D 整合式存儲系統(tǒng)提供大容量、高性能、高度可用和可靠的企業(yè)級數(shù)據(jù)存儲，完全可以滿足開篇描述的工作負(fù)載（例如虛擬化、容器化、監(jiān)控和備份）的嚴(yán)苛容量和性能需求。

使用 24 塊東芝 22TB 企業(yè)級 SAS HDD，原始容量為 528TB，根據(jù)配置不同，凈容量從 264TB (RAID10) 到 484TB (RAID6) 不等。

即使沒有任何 SSD 緩存，接近 3GB/s 的順序讀取和高達(dá) 1.5GB/s 的順序?qū)懭胄阅芤彩欠浅３錾臄?shù)據(jù)，與 25GbE 網(wǎng)絡(luò)連接的理論極限值相符。建議采用 RAID6 配置，因?yàn)樗婢吒唔樞蛐阅芎碗p重奇偶校驗(yàn)保護(hù)，并實(shí)現(xiàn)了高達(dá) 92% 的存儲效率。隨機(jī)讀取性能約為 3000 IOPS，寫入性能峰值高達(dá) 8000 IOPS（在 RAID10 配置下）。

滿載下的最大功耗不超過 400W（每 TB 凈容量功耗不到 1W，包括擴(kuò)展卡、控制卡、25GbE SFP+ 和 RJ 網(wǎng)絡(luò)接口——非常出色的能效值！）。

適當(dāng)且高效的散熱確保 HDD 溫度保持相對較低，溫差較小，這有助于延長旋轉(zhuǎn)式磁盤的使用壽命并降低故障率。而且所有這些優(yōu)異性能都是在確保高水平的數(shù)據(jù)保護(hù)和低擁有成本的前提下實(shí)現(xiàn)的，這對于企業(yè)級應(yīng)用來說也是一個(gè)重要的考量因素。

致謝合作伙伴

我們要感謝我們的合作伙伴 QSAN 提供 XN5124D 測試機(jī)，也感謝他們在設(shè)置和性能測試方面給予的大力協(xié)助和合作。此次合作是價(jià)值鏈合作的優(yōu)秀范例，為 QSAN 和東芝客戶提供了如何設(shè)計(jì)經(jīng)過驗(yàn)證的存儲解決方案的寶貴指導(dǎo)。