近日，美光團隊在 NVIDIA GTC 大會上展示了業(yè)界前沿的 AI 內(nèi)存和存儲產(chǎn)品組合。這些產(chǎn)品引起了參展商和與會者的極大興趣和廣泛關(guān)注，本博客介紹了其中的一些細節(jié)。美光內(nèi)存正在推動和引領(lǐng)面向未來的 AI 技術(shù)，我們來一起了解下吧。

助力未來 AI 技術(shù)更強大、更智能

人類正在進入一個新的時代：虛擬世界和真實世界的邊界日趨模糊，且深度交織。未來，推動世界向前發(fā)展的不僅包括當下熱門的 CPU 和 GPU 算力，還包括默默無聞的幕后英雄：內(nèi)存和存儲芯片。這些器件相互配合，共同加速人工智能 (AI) 的發(fā)展，使 AI 融入人們?nèi)粘Ｉ畹姆椒矫婷妗Ｆ渲袃?nèi)存更是 AI 加速的關(guān)鍵，不僅能夠幫助 AI 從海量數(shù)據(jù)集中學習，還將使未來人類與技術(shù)的交互更加直觀、順暢，顯著提高 AI 的智能。

全球各經(jīng)濟體正在競相追逐技術(shù)創(chuàng)新以及新技術(shù)的應(yīng)用。以美光為例，從業(yè)界前沿的 232 層 NAND 技術(shù)和 1? (1-beta) DRAM 創(chuàng)新，到 NVIDIA H200 Tensor Core GPU 中部署的美光 HBM3E 內(nèi)存，我們見證了技術(shù)進步如何助推半導體制造和先進封裝領(lǐng)域取得諸多成就，并推動 AI 邁向超級互聯(lián)的未來。美光 AI 產(chǎn)品組合中的每一次創(chuàng)新和突破，都讓我們向著更加智能的 AI 時代邁進了一步，這標志著內(nèi)存將成為未來 AI 革命的基石。

未來的 AI 不僅能夠模仿現(xiàn)實，還能進一步增強現(xiàn)實，內(nèi)存和半導體則是這一過程的硬件基礎(chǔ)。這是一段創(chuàng)新之旅，過往經(jīng)驗證明，要想突破現(xiàn)有 AI 的局限，硬件技術(shù)發(fā)展必不可少。了解硬件的關(guān)鍵作用，有助于我們進一步推動技術(shù)發(fā)展，為未來創(chuàng)造更多的可能性。

我之所以寫這篇博客，是因為我曾有幸領(lǐng)導美光的企業(yè)營銷團隊，在 20 個月內(nèi)推出了一些突破性產(chǎn)品，大幅加速了 AI 的發(fā)展。我們與產(chǎn)品負責人、銷售人員、工程師和業(yè)務(wù)經(jīng)理攜手合作，一直位于產(chǎn)品開發(fā)的最前沿，直至推出這些創(chuàng)新產(chǎn)品，并圍繞這些產(chǎn)品展開了討論。這段經(jīng)歷讓我深刻理解了如何營銷業(yè)界前沿的產(chǎn)品，以及美光的技術(shù)如何塑造 AI 的未來。

AI 層次結(jié)構(gòu)：架構(gòu)智能

信息圖表：AI 內(nèi)存和存儲技術(shù)層次結(jié)構(gòu)

在 AI 相關(guān)硬件中，內(nèi)存和存儲層次結(jié)構(gòu)并非僅是 GPU 和 CPU 的補充，更是決定 AI 能力和潛力的關(guān)鍵。近內(nèi)存位于頂部，包括美光的高帶寬內(nèi)存 (HBM) 解決方案 HBM3E 等技術(shù)。該層用于直接高速處理與 CPU 或 GPU 相鄰的數(shù)據(jù)，可大幅減少延遲并增加帶寬。借助近內(nèi)存硬件，AI 能夠以前所未有的效率執(zhí)行復雜的計算并處理大量數(shù)據(jù)，對于實時分析和決策應(yīng)用至關(guān)重要。

近內(nèi)存層下方是主內(nèi)存層，主要包括美光單顆粒大容量 DDR5 DIMM 等產(chǎn)品。這一層是 AI 計算的主力，除了出眾的速度之外，還需要有管理大量數(shù)據(jù)的能力，以供 AI 算法分析使用。美光的高速度、低功耗 DDR5 為 AI 系統(tǒng)的運行提供了強大的平臺，支持快速執(zhí)行 AI 模型和模擬。

擴展內(nèi)存層包括各種可擴展系統(tǒng)內(nèi)存容量的解決方案，例如美光的 CZ120，采用 Compute Express Link (CXL) 技術(shù)，可提供遠超傳統(tǒng)內(nèi)存的容量。這一層滿足了 AI 應(yīng)用不斷增長的內(nèi)存需求，能夠訓練和執(zhí)行規(guī)模更大、復雜度更高的 AI 模型。擴展內(nèi)存是一項關(guān)鍵創(chuàng)新，克服了傳統(tǒng)內(nèi)存架構(gòu)的物理限制，使 AI 系統(tǒng)能夠在不降低性能的前提下擴大處理能力。

擴展內(nèi)存層下方是 SSD 數(shù)據(jù)緩存層，這是一種重要的中間存儲解決方案，旨在讓應(yīng)用快速訪問常用數(shù)據(jù)。數(shù)據(jù)緩存層能夠加速數(shù)據(jù)檢索過程，確保 AI 應(yīng)用不會因數(shù)據(jù)訪問時間過長而卡頓。美光的旗艦 SSD（如 9000 和 7000 系列）可用于數(shù)據(jù)緩存層，其快速存儲能力可大幅縮短 AI 應(yīng)用的響應(yīng)時間，提高效率。

金字塔的底部是數(shù)據(jù)湖，也稱為基礎(chǔ)數(shù)據(jù)存儲層。數(shù)據(jù)湖中包含多個巨大的原始數(shù)據(jù)池，可為 AI 算法提供訓練和分析所用的數(shù)據(jù)。高效存儲和管理這些數(shù)據(jù)的能力，對于 AI 發(fā)展舉足輕重。美光 6000 SSD 系列等先進存儲解決方案可用于該層，以應(yīng)對 AI 生態(tài)系統(tǒng)中呈指數(shù)級增長的數(shù)據(jù)。在這種 AI 驅(qū)動的應(yīng)用場景中，傳統(tǒng)的機械硬盤 (HDD) 早已過時。

這些層緊密結(jié)合，共同構(gòu)成了支持 AI 革命的底層結(jié)構(gòu)，彰顯出內(nèi)存和存儲技術(shù)在充分實現(xiàn) AI 潛力方面不可或缺的作用。美光的行業(yè)前沿創(chuàng)新覆蓋了這一層次結(jié)構(gòu)中的每一層，讓我們能夠了解每一層在推動 AI 發(fā)展方面的獨特作用。這些創(chuàng)新產(chǎn)品互相配合，讓 AI 更加智能，更深入地融入人類的數(shù)字生活。

近內(nèi)存：基于美光 HBM3E 的 AI 加速引擎

信息圖表：美光 HBM3E 近內(nèi)存的性能和功耗優(yōu)勢。

美光 HBM3E 是近內(nèi)存創(chuàng)新的典型代表，可提供前所未有的速度和效率，對于大語言模型 (LLM) 和 AI 應(yīng)用至關(guān)重要。HBM3E 能夠克服內(nèi)存瓶頸，讓 AI 系統(tǒng)充分利用處理器的性能。隨著 LLM 及相關(guān)數(shù)據(jù)集的規(guī)模呈指數(shù)級增長，近內(nèi)存將愈發(fā)重要。

美光致力于突破內(nèi)存容量和帶寬的限制（提供 8 層堆疊 24GB HBM3E 和 12 層堆疊 36GB HBM3E 等解決方案）并實現(xiàn)業(yè)界前沿的能源效率，在近內(nèi)存領(lǐng)域擁有明顯的優(yōu)勢地位。與競品相比，美光 HBM3E 的功耗降低 30%，可使 AI 應(yīng)用更具可持續(xù)性，這是技術(shù)開發(fā)中日益關(guān)注的一個方面。

HBM3E 的推出，尤其是與 NVIDIA H200 Tensor Core GPU 的集成，標志著內(nèi)存性能的劃時代飛躍。HBM3E 可增強 AI 計算核心，并能夠以更節(jié)能的方式實現(xiàn) AI 加速。美光 HBM3E 為 AI 應(yīng)用高效運行大模型奠定了基礎(chǔ)，未來的 AI 可以突破當前內(nèi)存限制，充分擴展。這些能力還有助于數(shù)據(jù)中心節(jié)約運營成本，減輕對環(huán)境的影響。

美光 HBM3E 的低功耗優(yōu)勢，對于未來大型 AI 數(shù)據(jù)中心的可持續(xù)發(fā)展至關(guān)重要。這種對未來需求的提前關(guān)注，展示了美光采用的前瞻性方法，即在滿足 AI 研究和開發(fā)相關(guān)緊迫計算需求的同時，優(yōu)先考慮可持續(xù)性和運營的成本效益。通過集成美光的低功耗 HBM3E 解決方案，AI 數(shù)據(jù)中心可節(jié)約大量運營成本。這一節(jié)約舉措十分關(guān)鍵，因為高性能計算資源將消耗大量電力，意味著不菲的運營支出。對于大型云服務(wù)提供商而言，優(yōu)先考慮能源效率可顯著降低電力消耗和運營成本。因此，在大規(guī)模擴張 AI 基礎(chǔ)設(shè)施的過程中，選擇正確的內(nèi)存技術(shù)非常重要。

此外，這一旨在提升 AI 計算可持續(xù)性的戰(zhàn)略舉措也符合整個行業(yè)的發(fā)展趨勢，即逐步減輕大規(guī)模計算對環(huán)境的影響。美光在內(nèi)存技術(shù)上的進步，不僅為前沿 AI 應(yīng)用加速帶來了所需的計算能力，還展示了技術(shù)創(chuàng)新如何與環(huán)境可持續(xù)發(fā)展目標保持一致。

這一轉(zhuǎn)變反映了整個行業(yè)在追求更高性能的同時，更加注重能效和可持續(xù)性。美光目前正在送樣 12 層堆疊 36GB HBM3E 解決方案，可為 AI 平臺提供更高的容量。作為推動 AI 基礎(chǔ)設(shè)施發(fā)展的明星產(chǎn)品，美光 HBM 將技術(shù)創(chuàng)新與注重環(huán)保的設(shè)計相結(jié)合，將在未來的 AI 時代大顯身手。

主內(nèi)存：美光單顆粒大容量 DDR5 助力 AI 服務(wù)器提升“大腦處理器”的計算能力

信息圖表：美光 DDR5 主內(nèi)存的性能和功耗優(yōu)勢。

美光的大容量 DDR5 主內(nèi)存提供前所未有的速度和效率，已成為 AI 處理過程中不可或缺的組成部分，未來將繼續(xù)引領(lǐng) AI 加速。128GB DDR5 RDIMM 速度高達 8000 MT/s，采用美光業(yè)界前沿的 1? 節(jié)點技術(shù)，位密度提高了 45%以上。該產(chǎn)品具有劃時代的性能和能源效率，可滿足 AI 應(yīng)用嚴苛的數(shù)據(jù)分析和處理需求。此外，該產(chǎn)品還可大幅提升 AI 系統(tǒng)的響應(yīng)能力和決策速度，并將延遲降低 17%。

美光的 LPDDR5X 和 LPCAMM2 產(chǎn)品進一步豐富了 DDR5 生態(tài)系統(tǒng)，加強了 AI 的發(fā)展勢頭。LPDDR5X 的峰值帶寬高達 9.6 Gb/s，較前代產(chǎn)品提升 12%，功耗降低了 30%，彰顯出美光在低功耗內(nèi)存創(chuàng)新領(lǐng)域的優(yōu)勢地位。美光 LPCAMM2 則為 AI PC 和數(shù)據(jù)中心的主內(nèi)存帶來了新范例。該產(chǎn)品速度高達 9600 Mb/s，功耗大幅降低，擁有更緊湊的模塊化外形尺寸，可助力實現(xiàn)更高效、更強大的 AI 計算能力。

美光的大容量 DDR5 以及創(chuàng)新的 LPDDR5X 和 LPCAMM2 內(nèi)存模塊能夠滿足 AI 和機器學習工作負載不斷提高的需求，標志著美光在內(nèi)存技術(shù)上的巨大飛躍。這些創(chuàng)新技術(shù)提高了內(nèi)存的速度和效率，降低了內(nèi)存的功耗，這些特性對于全球主要云服務(wù)提供商至關(guān)重要。

當前，數(shù)據(jù)中心日益成為 AI 云服務(wù)的關(guān)鍵基礎(chǔ)設(shè)施，在保持性能的前提下優(yōu)化能源使用，比以往任何時候都更加重要。通過集成美光的前沿內(nèi)存解決方案，大型云服務(wù)提供商能夠以更加可持續(xù)的方式擴張其 AI 能力，同時確保更低的總擁有成本，并展現(xiàn)出他們的承諾：積極擁抱創(chuàng)新技術(shù)，推動整個科技行業(yè)邁向更高效、更強大、由 AI 驅(qū)動的未來。

擴展內(nèi)存：美光 CZ120 助力突破內(nèi)存限制

信息圖表：美光 CZ120 擴展內(nèi)存的性能優(yōu)勢。

擴展內(nèi)存是 AI 內(nèi)存和存儲層次結(jié)構(gòu)中的關(guān)鍵橋梁，幫助 AI 系統(tǒng)在不降低速度或效率的前提下處理更為復雜的工作負載。CXL 擴展內(nèi)存模塊位于主內(nèi)存層和數(shù)據(jù)緩存層之間，是擴展內(nèi)存層的創(chuàng)新產(chǎn)品，所提供的可擴展內(nèi)存解決方案能夠滿足復雜 AI 應(yīng)用的需求。該技術(shù)可在各種用例中實現(xiàn)無縫擴展和性能提升，展示出擴展內(nèi)存技術(shù)在更廣泛的 AI 技術(shù)開發(fā)領(lǐng)域產(chǎn)生的變革性影響。

美光 CZ120 內(nèi)存擴展模塊采用 CXL 技術(shù)，可滿足 AI 和高性能計算對內(nèi)存容量越來越高的需求，從而大幅提升了數(shù)據(jù)中心的 AI 支持能力。這些模塊的速度高達 36 GB/s，提供 128GB 和 256GB 容量選擇，可為復雜工作負載提供所需的內(nèi)存容量和帶寬，以此提升服務(wù)器的性能。擴展內(nèi)存對于 AI 訓練、軟件即服務(wù) (SaaS) 和內(nèi)存數(shù)據(jù)庫等應(yīng)用至關(guān)重要，有望將計算效率提升到新水平。

為滿足數(shù)據(jù)中心不斷增長的需求，美光攜手 Intel、AMD 等行業(yè)知名廠商，合作開發(fā)和測試了采用 CXL 技術(shù)的 CZ120 內(nèi)存擴展模塊。這一戰(zhàn)略合作伙伴關(guān)系旨在促進 CXL 技術(shù)的普及，將服務(wù)器內(nèi)存的效率和性能提升到新水平。美光通過技術(shù)支持計劃，為合作伙伴提供廣泛的支持和資源，確保基于 CXL 技術(shù)的內(nèi)存擴展模塊創(chuàng)新能夠顯著提高全球數(shù)據(jù)中心的數(shù)據(jù)處理能力和成本效益。

SSD 數(shù)據(jù)緩存：美光 9000 和 7000 系列數(shù)據(jù)中心 SSD 加速數(shù)據(jù)訪問

信息圖表：美光 7500 和 9400 SSD 展示。

在 AI 計算框架的層次結(jié)構(gòu)中，本地 SSD 數(shù)據(jù)緩存層旨在快速訪問存放在大容量存儲設(shè)備上的海量數(shù)據(jù)信息。傳統(tǒng)的 HDD 存儲解決方案通常需要額外的設(shè)備協(xié)助，才能滿足數(shù)據(jù)密集型 AI 工作負載所需的吞吐量，從而導致出現(xiàn)數(shù)據(jù)傳輸瓶頸，嚴重影響 AI 應(yīng)用的性能。

如果這一瓶頸出現(xiàn)在數(shù)據(jù)中心內(nèi)，后果尤為嚴重。從速度較慢的存儲介質(zhì)中獲取數(shù)據(jù)時的延遲，可能會顯著影響 AI 模型在實時決策過程中的效率。美光 9000和 7000 系列 SSD 旨在解決這一挑戰(zhàn)，其高速數(shù)據(jù)訪問能力可毫無延遲地提供 AI 算法所需的數(shù)據(jù)，并確保整個 AI 計算過程順暢高效。這些 SSD 擁有出眾的效率和速度，可確保數(shù)據(jù)密集型 AI 應(yīng)用（例如機器學習模型和復雜的分析）流暢運行，在減少延遲的同時提高 AI 應(yīng)用的性能。

美光 9000 和 7000 系列 SSD 進一步提高了 SSD 數(shù)據(jù)緩存在 AI 工作負載中的重要作用，是消除數(shù)據(jù)訪問瓶頸的關(guān)鍵解決方案。尤其是美光 9400 SSD，與主流競品相比，其混合工作負載性能可提高 2.3 倍，能源效率提升高達 77%，為 PCIe 4.0 存儲樹立了新的性能基準。該系列 SSD 的容量高達 30.72TB，可為數(shù)據(jù)中心帶來更高的存儲密度和運營效率。這些優(yōu)勢可確保 AI 算法快速訪問所需數(shù)據(jù)，加速實時處理和決策的過程。

憑借出眾的性能和容量，美光 9400 SSD 已成為先進醫(yī)療診斷和 AI 增強客戶體驗等實際應(yīng)用中的關(guān)鍵器件。該款 SSD 在 100% 4K 隨機讀取時每秒可完成 160 萬次輸入/輸出操作 (IOPS)，在混合讀寫工作負載中同樣表現(xiàn)出色，可應(yīng)對要求嚴苛的數(shù)據(jù)中心任務(wù)。美光 9400 SSD 不僅可以縮短機器學習和模型訓練的時間，還可為高頻交易和在線交易提供所需的速度和效率，是現(xiàn)代數(shù)據(jù)密集型工作負載的理想選擇。

此外，美光 9400 SSD 的能源效率同樣出眾，可滿足當今時代數(shù)據(jù)中心嚴格的功耗要求，提升高性能計算的可持續(xù)性。美光 9400 SSD 擁有更高的每瓦 IOPS，可為數(shù)據(jù)中心帶來更高的能源吞吐量，降低數(shù)據(jù)中心的運營費用以及對環(huán)境的影響。美光致力于推動存儲技術(shù)發(fā)展，以滿足 AI 和云計算越來越高的要求。作為美光推出的重要解決方案，美光 9400 SSD 實現(xiàn)了性能、容量和功耗的平衡，能夠解決 AI 環(huán)境中長期存在的存儲挑戰(zhàn)。

網(wǎng)絡(luò)數(shù)據(jù)湖：美光 6000 系列數(shù)據(jù)中心 SSD 為 AI 奠定基礎(chǔ)

信息圖表：展示美光 6500 ION SSD 的性能、速度和存儲密度。

數(shù)據(jù)湖是 AI 生態(tài)系統(tǒng)中不可或缺的一部分，用于存儲 AI 應(yīng)用所需的海量數(shù)據(jù)。數(shù)據(jù)湖是 AI 應(yīng)用的基石，它提供巨大的存儲空間，能夠確保數(shù)據(jù)隨時可用，可供許多 AI 處理流程同時訪問。數(shù)據(jù)湖以原生格式聚合來自不同來源的數(shù)據(jù)，供 AI 應(yīng)用進行更全面的數(shù)據(jù)分析和機器學習，并為 AI 預測性洞察和決策提供所需的原始材料。

數(shù)據(jù)湖可存儲和管理大量非結(jié)構(gòu)化數(shù)據(jù)，對于希望利用 AI 技術(shù)獲得競爭優(yōu)勢的企業(yè)而言，數(shù)據(jù)湖是必不可少的存儲基礎(chǔ)設(shè)施。美光 6000 系列數(shù)據(jù)中心 SSD 確保數(shù)據(jù)能夠安全存儲并易于訪問，進一步增強了這一基礎(chǔ)層，支持動態(tài) AI 計算所必需的快速數(shù)據(jù)檢索能力。

美光 6500 ION 系列數(shù)據(jù)中心 SSD 提供至關(guān)重要的解決方案，讓 AI 應(yīng)用能夠快速可靠地訪問底層的數(shù)據(jù)存儲庫。6500 ION 系列是全球首款 200+ 層 NAND 數(shù)據(jù)中心 NVMe SSD，擁有遠超前代產(chǎn)品和競品的性能、安全性和能效，為數(shù)據(jù)存儲樹立了新標準。

性能基準測試顯示，6500 ION 擁有出眾的效率，在處理不同的工作負載時均表現(xiàn)出顯著優(yōu)勢。例如，在 Ceph 對象存儲工作負載中，6500 ION 的順序?qū)懭胄阅鼙韧惍a(chǎn)品高出 3.5 倍，隨機讀取性能高出 49%。此外，6500 ION 也適用于 Cassandra 等 NoSQL 數(shù)據(jù)庫應(yīng)用程序，在讀取密集型任務(wù)中，峰值性能比同類產(chǎn)品高出 2.6 倍，是數(shù)據(jù)中心的理想選擇，可幫助管理要求嚴苛的復雜工作負載。

美光 6500 ION 在性能、效率和可持續(xù)性方面均表現(xiàn)出色。憑借高達 30.72TB 的容量，以及在功耗和散熱方面的提升，6500 ION 可大幅提高服務(wù)器的存儲密度，從而減少資本支出、運營支出和碳排放。6500 ION 兼具高性能、大容量和高效率，彰顯出美光的承諾：提升數(shù)據(jù)中心的能力，確保滿足 AI 和機器學習技術(shù)不斷增長的需求。

內(nèi)存對于 AI 加速至關(guān)重要：美光對創(chuàng)新以及未來的愿景

信息圖表：美光 AI 內(nèi)存和存儲產(chǎn)品組合（HBM3E、GDDR6X）。CXL、大容量 DIMM、DDR5、LPCAMM2、UFS 4.0 和數(shù)據(jù)中心 SSD。

內(nèi)存對于 AI 的發(fā)展舉足輕重，決定了 AI 學習、演進和融入人們生活的速度。在內(nèi)存和存儲層次結(jié)構(gòu)中，每一層都發(fā)揮著關(guān)鍵作用。例如，近內(nèi)存負責高速數(shù)據(jù)處理，主內(nèi)存負責管理海量數(shù)據(jù)。同樣，擴展內(nèi)存可提供更多容量，SSD 數(shù)據(jù)緩存有助于快速訪問，數(shù)據(jù)湖則提供基礎(chǔ)的存儲設(shè)備。所有這些層共同確保了 AI 應(yīng)用的無縫運行。未來的 AI 將越發(fā)智能，而內(nèi)存和存儲將在 AI 發(fā)展過程中起到不可或缺的作用。為加速 AI 發(fā)展，必須持續(xù)創(chuàng)新并投資這些關(guān)鍵的半導體技術(shù)。

從 1978 年博伊西一家牙醫(yī)診所地下室里的初創(chuàng)企業(yè)，到如今內(nèi)存和存儲解決方案領(lǐng)域的全球知名廠商，美光展現(xiàn)了對創(chuàng)新和卓越的不懈追求。在超過 45 年的創(chuàng)新歷程中，美光不斷突破技術(shù)界限，包括開發(fā)全球最小的 256K DRAM、業(yè)界前沿的 1? 內(nèi)存節(jié)點和業(yè)界首款 232 層 NAND。

這些里程碑不僅是半導體制造領(lǐng)域的重要成就，也是推動 AI 革命向前發(fā)展的關(guān)鍵時刻。展望未來，我們認為，持續(xù)聚焦并投資內(nèi)存和存儲技術(shù)，對于充分發(fā)揮 AI 的潛力至關(guān)重要。美光對創(chuàng)新的承諾強調(diào)了這些技術(shù)在 AI 發(fā)展過程中的重要性，激勵我們心懷謙遜、保持好奇心和遠大目標，推動 AI 向前發(fā)展。美光的未來愿景是通過 AI 技術(shù)改善整個世界并豐富所有人的生活。這一愿景基于我們的價值觀：關(guān)懷員工、創(chuàng)新為先、堅韌不拔、精誠合作、客戶導向。我們堅信，技術(shù)能夠而且應(yīng)當成為帶來積極改變的力量。我們將秉持這一信念繼續(xù)前行。

本文作者

Rahul Sandil

Vice President of Corporate Marketing