曾幾何時，對于基礎架構工程師而言，基于網絡的存儲器革新并不會構成真正的問題：因為網速很快，硬盤驅動器轉速很慢。自然網絡只要升級至 10Gb、40Gb 和 100Gb 以太網，滿足存儲系統的聯網需求就綽綽有余了。

但現如今，隨著超快固態硬盤 (SSD) 和高速非易失性內存 (Non-Volatile Memory Express, NVMe) 的問世，形勢已全盤顛覆。存儲團隊現在擁有的設備速度非常快，不消片刻就能令網絡達到飽和。

基于網絡的存儲器(SAN) 使用基于架構的非易失性內存 (NVMe over Fabric, NVMe-oF) 這一技術，給網絡帶來了巨大的挑戰。基礎架構工程師需要仔細了解這種新一代存儲器，理解它與前幾代存儲器的差異，以及這些存儲器如何滿足真正高速的存儲器的性能需求。

何謂 NVMe？

NVMe的來源以及與SCSI的區別

原先存儲系統的基礎是硬盤驅動器(HDD) 旋轉介質，其中有磁盤和持續移動的磁頭，這項技術歷經 60 余年沉淀發展而成，直至最近才徹底改變。隨著設備尺寸越來越小且速度越來越快，驅動器技術不斷演變，存儲器行業圍繞驅動器控制器模型逐漸融合，這種控制器使用并行總線或串行總線（如串行連接 SCSI “SAS” 或串行 ATA “SATA”）連接到 HDD。這種廣為人知的可互操作技術鏈始于磁盤驅動器，按順序連接到總線、控制器再到計算機，形成了性能平衡，前提是磁盤驅動器工作方式與傳統 HDD 相似。

而固態驅動器(SSD) 的問世徹底打破了存儲器世界的這種平衡。突然之間，磁盤驅動器可以提供媲美 RAM 的性能，時延極短且傳輸速率超過 20 Gbps。這類 SSD 驅動器以傳統存儲系統中 HDD 的完美替代品的身份，實現了第一次真正的商用部署。SSD 速度更快、時延更低、發熱更少且功耗更低，并且無需對廣泛部署的現有硬件進行重新設計。對于存儲行業而言，這意味著雙贏。

但將 SSD 直接插入現有存儲系統有一個缺點：它無法充分發揮出底層技術的性能提升潛力。為了真正發揮 SSD 設備的全部潛力，我們需要重新審視存儲系統連接到服務器的方式。存儲器供應商幾經嘗試，為基于 SSD 的存儲器專門設計了多種方法，其中直連 PCI Express (PCIe) 總線的設計在業內引發熱議。在構建多項專屬設備后，存儲器和服務器行業于 2011 年聯手打造出了 NVMe。

NVMe 是一種協議，而并非外形規格或接口規范。NVMe 不同于其他存儲協議，因為它對 SSD 設備的處理方式不同于硬盤處理方式，而更接近于內存。NVMe 協議的設計從一開始就以搭配 PCIe 接口使用為目標，因此幾乎直接連接到服務器的 CPU 和內存子系統。

在多核環境內，NVMe 甚至更高效，因為它允許每個核心獨立與存儲系統進行交互。隨著 NVMe 內隊列數量和深度的雙雙增加，多核 CPU 能夠使 SSD 保持忙碌狀態，因此連性能的內部瓶頸也蕩然無存。NVMe 屬于非統一內存體系結構 (NUMA) 感知協議，能夠充分發揮新型 CPU 中的內存子系統設計的發展成果?？傊?，相比使用 SATA 或 SAS 的 SSD，具有 SSD 和 NVMe 協議的存儲器能夠顯著提升每秒輸入輸出 (IOPS) 并大大降低時延。

從 SCSI 到 NVMe 的發展歷程簡介

SCSI

SCSI 將存儲器作為設備來處理，這些設備包括磁帶機、磁盤驅動器、掃描儀等。

需要支持 SCSI 的適配器將 CPU 的意圖“翻譯”為設備功能。

在主機與存儲器之間創建一對一關系。

在單一隊列模型中運行：單一隊列中最多包含 64 條命令。

隨后，機械硬盤演變為固態硬盤(SSD) 或閃存：

閃存將 SCSI 的短板暴露無遺，因為閃存并不旋轉，不需要等待“機械”操作。因此，單命令/單隊列系統中不再有時延，也就是滯后時間。

不僅如此，閃存所需的命令數量也遠少于 SCSI 所提供的命令數量。

最終結果就是，閃存可以視為與 PCIe RAM 類似。NVMe 也正是由此而來。

NVMe

NVMe 將存儲器作為內存來處理。

CPU 可以在內部與內存進行通信：無需適配器。

在主機與目標之間創建多對多關系。

能夠在多隊列模型中運行：64000 個隊列，每個隊列最多 64000 條命令。

總之，可以說NVMe能夠將現代化 SSD 允許的并行度發揮到極致。因此 NVMe 能夠減少 I/O 開銷，將先前邏輯設備接口相關的性能提升落到實處，包括支持多個長命令隊列和降低時延。

SCSI 和其他先前的接口協議是圍繞搭配硬盤驅動器使用而開發的，這些硬盤驅動器速度遠低于 NVMe，并且在請求和數據傳輸之間存在著冗長的延遲（相對于 CPU 操作），其數據速度遠低于 RAM 速度，再加上磁盤旋轉和尋道時間，從而引發了進一步優化的需求。

NVMe 的定義與規范

您可在 NVM Express 組織官網上找到高速非易失性內存的官方定義，這里摘抄一段：

NVM Express (NVMe) 規范旨在定義主機軟件與整個 PCI Express (PCIe) 總線上的非易失性內存進行通信的方式。它是適用于各種 PCIe 固態硬盤 (SSD) 的業界標準，這些 PCIe SSD 具有多種不同外形規格（U.2、M.2、AIC 和 EDSFF）。NVM Express 是由技術行業領導者組成的非營利性聯盟，負責 NVMe 技術的定義、管理和市場推廣。

除了 NVMe 基本規范外，該組織還負責其他幾項規范：NVMe over Fabrics (NVMe-oF) 和 NVMe Management Interface (NVMe-MI)，前者基于網絡連接架構使用 NVMe 命令，后者則用于在服務器與存儲系統中管理 NVMe/PCIe SSD。 NVMe 規范是從零開始專為 SSD 而設計的規范。它是更高效的接口，相比于串行 ATA (SATA) 之類的傳統接口，它能夠為 SSD 提供更低的時延和更高的可擴展性。此規范的第一部分對應的是主機控制接口。NVMe 體系結構引入了全新的高性能排隊機制，支持 65,535 個 I/O 隊列，每個隊列含 65,535 條命令（稱為隊列深度或者未完成命令數）。隊列映射到 CPU 核心，提供可擴展的性能。 NVMe 接口顯著減少了存儲器映射輸入/輸出命令的數量，并且能夠調整操作系統設備驅動程序，使其在中斷模式或輪詢模式下運行，從而提升性能并降低時延。NVMe 規范還包含適用于 SSD 命令的主機到設備協議，供操作系統用于：讀取、寫入、清空、TRIM、固件管理、溫控、報錯等操作。 如需獲取最新版本的 NVMe、NVMe-oF 和 NVMe-MI 規范，可訪問 NVM Express 組織官網?；诩軜嫷姆且资詢却?(NVMe-oF)NVMe 協議并非局限于在服務器內部連接本地閃存驅動器，它還可通過網絡使用。在網絡環境內使用時，網絡“架構”支持在存儲器與服務器各元素之間建立任意對任意連接。NVMe-oF 支持企業創建超高性能存儲網絡，其時延能夠比肩直接連接的存儲器。因而可在服務器之間按需共享快速存儲設備。NVMe-oF 可視為基于光纖通道的 SCSI 或 iSCSI 的替代品，其優勢在于時延更低、I/O 速率更高，且生產力更優。 服務器（或其他主機）通過網絡架構與 NVMe 存儲器直接進行通信，或者通過控制器與之進行間接通信。如果存儲器解決方案使用控制器，那么控制器就會與自己的存儲器目標進行通信，可采用的方式包括 NVMe-oF（如菊花鏈）或者其他專屬或非專屬解決方案。這取決于存儲器供應商的實現方法和選擇。NVMe-oF 傳輸協議基礎架構工程師需要了解以下三種傳輸綁定，才能在自己的數據中心內操作 NVMe-oF：

光纖通道 (NVMe/FC)：具有 Broadcom / Emulex 或 Marvell / Cavium / QLogic 主機總線適配器 (HBA) 等設備的 NVMe 發起方（主機）可以通過專屬光纖通道 (FC) 架構或者基于以太網的光纖通道 (FCoE) 架構來訪問 NVMe 目標。光纖通道傳輸通過 FCP Exchange 使用基于光纖通道協議的 NVMe (FC-NVMe)，將 NVMe 的“控制平面”封裝體（命令和響應）和“數據平面”數據消息映射到光纖通道幀。TCP (NVMe/TCP)：NVMe 主機和控制器以交換 NVMe/TCP 協議數據單元（NVMe/TCP H2C 和 C2H PDU）的方式，通過 TCP 進行通信。NVMe/TCP PDU 可用于傳輸 NVMe 的“控制平面”封裝體（命令和響應）和“數據平面”數據。對于 NVMe/FC，這種數據傳輸“僅含消息”。遠程直接內存訪問（InfiniBand 或以太網網絡上支持的 NVMe/RDMA）：RDMA 是主機卸載、主機旁路技術，支持包括存儲器在內的應用程序與另一個應用程序的存儲空間之間直接執行雙向往來數據傳輸。支持 RDMA 的以太網 NIC (rNIC) 或者 InfiniBand 領域內的 HCA（不包括主機）均負責管理 NVMe 源與目標之間的可靠連接。憑借 RDMA，即可使用消息來傳輸 NVMe“控制平面”封裝體（命令和響應），并使用存儲器語義（如 RDMA 讀/寫操作）來傳輸“數據平面”（數據）。您必須將數據平面部分視為類似 PCIe 的直接內存操作。 除了這三種解決方案外，還有其他專屬解決方案可以讓您在網絡架構基礎上使用 NVMe 命令?；赗DMA 的 NVMe-oF何謂 RDMA？直接內存訪問(DMA) 指設備無需 CPU 干預即可直接訪問主機內存的能力。遠程直接內存訪問 (RDMA) 也就是在不中斷遠程機器系統 CPU 處理的情況下對該機器上的內存執行訪問（讀取和寫入）的能力。RDMA 主要優勢零復制：應用程序無需網絡軟件棧的參與即可執行數據傳輸。數據可以直接發送和接收到緩沖區，無需在網絡層之間復制。內核旁路：應用程序可以直接從用戶空間執行數據傳輸，無需內核參與。無 CPU 參與：應用程序無需在遠程服務器內耗用任何 CPU 時間即可訪問遠程內存。無需任何遠程進程（或處理器）的干預即可讀取遠程內存服務器。此外，遠程 CPU 的高速緩存不會被訪問的內存內容填滿。如何使用RDMA？要使用 RDMA，需要具備 RDMA 功能的網絡適配器：支持 RDMA 的以太網 NIC (rNIC)，如 Broadcom NetXtreme E 系列、Marvell / Cavium FastLinQ 或 Nvidia / Mellanox Connect-X 系列?；蛘?InfiniBand 領域內的 InfiniBand 主機通道適配器 (HCA)（同樣以 Nvidia / Mellanox Connect-X 為例）。由此您可能已經推斷出，網絡的鏈路層協議既可以是以太網，也可以是 InfiniBand。這兩種協議均可用于傳輸基于 RDMA 的應用程序。 在 Linux、Windows 和 VMware 這三種操作系統內置 RDMA 支持功能。在其他操作系統上，或者需要使用高級功能時，您可能需要下載并安裝相關的驅動程序包并對其進行正確配置。基于 RDMA的NVMe-oF的種類現在我們已經知道，RDMA 是用于通過網絡架構傳輸 NVMe 的三種選項之一，接下來，我們來看看 RDMA 的三種類型：1. InfiniBand：InfiniBand 網絡架構原生支持 RDMA。2. RoCE（基于聚合以太網的RDMA，讀作“Rocky”）：這種類型基本上就是基于以太網網絡的 RDMA 的實現。其方式是通過以太網來封裝 InfiniBand 傳輸包。RoCE 有兩種版本： RoCEv1：以太網鏈路層協議（以太網 0x8915），支持在相同以太網廣播域內任意兩個主機之間進行通信。因此，僅限第 2 層網絡，不可路由。 RoCEv2：利用 UDP/IP（IPv4 或 IPv6）報頭增強 RoCEv1，因此增加了第 3 層網絡可路由性。NVMe/RoCEv2 默認使用 UDP 目標端口 4791。3. iWARP（互聯網廣域 RDMA 協議）：按 IETF 標準擁塞感知協議（如 TCP 和 SCTP）分層。具有卸載 TCP/IP 流量控制和管理功能。 即使 iWARP 和 RoCE 都使用相同的 RDMA 軟件謂詞和同類以太網 RDMA-NIC (rNIC)，由于第 3 層/第 4 層網絡之間存在的差異，兩者之間仍無法以 RDMA 來通信?，F如今，RoCEv2 是供應商最常用的選擇。NVMe-oF 網絡要求協議要求如上所述，根據所選 NVMe-oF 解決方案，要求不盡相同：專用網絡NVMe/IB：使用基于 InfiniBand 網絡的 RDMA。在高性能計算 (HPC) 領域頗受歡迎。除非您在該領域或者股票市場工作，否則您的數據中心可能沒有 InfiniBand 網絡。NVMe/FC：需要第 5 代或第 6 代光纖通道網絡。它不使用 RDMA。如果數據中心內已有光纖通道網絡或交換基礎架構，那么基礎架構工程師可以繼續使用這些專用資源作為 NVMe-oF 的傳輸方式。但是，傳統 4、16 或 32 Gbps 光纖通道部署速度可能不足以真正發揮出 NVMe 設備的性能提升。共享或聚合以太網網絡僅限第 2 層網絡NVMe/FC（含 FCoE）：它使用以太網/光纖通道共享網絡基礎架構。FCoE 在 IP 層不可路由，并且不使用 RDMA。FCoE 與光纖通道網絡具有相同的要求和優勢，但在基礎架構的共享以太網部分中失去了網絡可預測性。 支持第 3 層網絡NVMe/TCP：使用具有 TCP/IP 傳輸的以太網網絡，但不使用 RDMA。一般認為 NVMe/TCP 是最經濟實惠的解決方案，因為以太網網絡架構比光纖通道基礎架構更實惠，且實現難度最低。由于 NVMe/TCP 原生可路由，因此服務器與其存儲器托架之間能夠通過現有以太網數據中心網絡進行通信，而無需專用光纖通道交換機和 HBA。但 NVMe/TCP 存在如下劣勢：最重要的是它使用服務器的算力，這樣一來服務器算力就無法全部用于運行常見應用程序。CPU 密集度最高的 TCP 操作之一是計算每個數據包的奇偶校驗碼（校驗和）。另一個劣勢則是其傳輸過程中時延比其他 NVMe-oF 協議更長。產生這個問題主要是因為在此流程中需要維護多個數據副本，以免在路由級別發生數據包丟失。NVMe/iWARP：使用共享以太網網絡和基于 TCP 的 RDMA。NVMe/RoCEv2：使用共享以太網網絡和基于 UDP 的 RDMA。傳輸要求：有損傳輸 vs 無損傳輸如上文所述，在以太網架構中，就有損傳輸與無損傳輸兩種需求而言，RDMA 是兩個設備之間的內存到內存傳輸機制，因此理論上它不能容許任何丟包。但由于 iWARP 基于 TCP 協議和 NVMe/TCP，它可以容許在傳輸中發生丟包，隨后執行少量 TCP 重新傳輸，因此 NVMe/iWARP 和NVMe/TCP 均可通過有損網絡來傳輸。 而另一方面，RoCE 則使用 UDP，因此無法像 TCP 那樣通過應答和重新傳輸來獲益。此外，根據 RoCEv2 規范，應該使用無損架構。但在 RoCE 協議內部存在一種防范丟包的機制：發生丟包時，將把具有特定數據包序號 (PSN) 的 NACK 控制包發送給發送方，以供發送方重新發送該數據包。因此，所謂 RoCE 要求無損網絡傳輸（無損以太網）的說法并不完全正確。RoCE 可以在無損網絡或有損網絡中運行。有關 NVMe-oF 的其他網絡信息以下信息是作者與專家討論及參與各種技術研討會收集得來，因個人需求而異，且不一定長期有效。專用以太網 vs 共享以太網：相比共享以太網解決方案，使用專用網絡（IB 或 FC）的主要劣勢在于價格。當然，這其中也包括專用網絡本身的維護費用以及由具備相應知識技能的人員參與維護所產生的人力成本。另一方面，專用網絡的巨大優勢在于此網絡是可預測的?；A架構工程師對于自己網絡中包含的內容、預計的流量、時延等都了如指掌。有時，可預測性比什么都重要，尤其是就存儲而言。NVMe/TCP、iWARP 和 RoCEv2 之間的比較：相比 NVMe/TCP，RDMA 使用 rNIC 進行卸載的功能可以減少協議處理開銷和昂貴的內存備份數量，因此能顯著提升性能。但就像所有聚合基礎架構一樣，帶寬才是關鍵。由于沒有超額預訂，需要對入站流量、隊列和流量優先順序嚴加管控。對于 RoCE 更是如此，因為它不支持（或者說幾乎不支持）任何丟包。目標與主機之間最大距離是多少：舉例來說，雖然我們可以通過企業 WAN 鏈路等方式來執行第 3 層網絡路由，但切勿認為可以將存儲器置于遠離服務器的位置。這是不行的，一般來說，我們嘗試把目標盡可能置于靠近主機的位置。NVMe 具有非常嚴格的端到端時延要求，除非網絡基礎架構是專為提供超低時延而設計，否則 NVMe 可能無法正常工作。如何定義可接受的時延：每個應用程序、數據庫或脈動協議都有已知的時延或 RTT 預算。用戶問題應該基于以下要素：當前使用哪一種協議，又有怎樣的時延要求。在此基礎上，如上所述，我們嘗試把目標盡可能置于靠近主機的位置。存儲架構的第 2 層網絡和第 3 層網絡對比：某些存儲專家認為，存儲的最佳實踐是避免進行流量路由，對塊存儲而言尤其如此，這背后主要的原因就是時延。但如今的現代化數據中心網絡不再基于第 2 層網絡 (STP + MLAG)，而是基于第 3 層網絡作為底層，并具有覆蓋層（VXLAN 或類似網絡層）。因此，這句話可能顯得有些自相矛盾。