?HBM即高帶寬存儲，由多層DRAM Die垂直堆疊，每層Die通過TSV穿透硅通孔技術實現與邏輯Die連接，使得8層、12層Die封裝于小體積空間中，從而實現小尺寸于高帶寬、高傳輸速度的兼容，成為高性能AI服務器GPU顯存的主流解決方案。

目前迭代至HBM3的擴展版本HBM3E，提供高達8Gbps的傳輸速度和16GB內存，由SK海力士率先發布，將于2024年量。

HBM主要應用場景為AI服務器，最新一代HBM3e搭載于英偉達2023年發布的H200。根據Trendforce數據，2022年AI服務器出貨量86萬臺，預計2026年AI服務器出貨量將超過200萬臺，年復合增速29%。

AI服務器出貨量增長催化HBM需求爆發，且伴隨服務器平均HBM容量增加，經測算，預期25年市場規模約150億美元，增速超過50%。

HBM供給廠商主要聚集在SK海力士、三星、美光三大存儲原廠，根據Trendforce數據，2023年SK海力士市占率預計為53%，三星市占率38%、美光市占率9%。HBM在工藝上的變化主要在CoWoS和TSV。

HBM1最早于2014年由AMD與SK海力士共同推出，作為GDDR競品，為4層die堆疊，提供128GB/s帶寬，4GB內存，顯著優于同期GDDR5。

HBM2于2016年發布，2018年正式推出，為4層DRAMdie，現在多為8層die，提供256GB/s帶寬，2.4Gbps傳輸速度，和8GB內存；HBM2E于2018年發布，于2020年正式提出，在傳輸速度和內存等方面均有較大提升，提供3.6Gbps傳輸速度，和16GB內存。HBM3于2020年發布，2022年正式推出，堆疊層數及管理通道數均有增加，提供6.4Gbps傳輸速度，傳輸速度最高可達819GB/s，和16GB內存HBM3E由SK海力士發布HBM3的增強版，提供高達8Gbps的傳輸速度，24GB容量，計劃于2024年大規模量產。

HBM因其高帶寬、低功耗、小體積等特性，廣泛應用于AI服務器場景中。HBM的應用主要集中在高性能服務器，最早落地于2016年的NVP100GPU（HBM2）中，后于2017年應用在V100（HBM2）、于2020年應用在A100（HBM2）、于2022年應用在H100（HBM2e/HBM3），最新一代HBM3e搭載于英偉達2023年發布的H200，為服務器提供更快速度及更高容量。

HBM供給廠商主要聚集在SK海力士、三星、美光三大廠，SK海力士領跑。三大存儲原廠主要承擔DRAMDie的生產及堆疊，展開技術升級競賽，其中SK海力士與AMD合作發布全球首款HBM，23年率先供應新一代HBM3E，先發奠定市場地位，主要供應英偉達，三星供應其他云端廠商，根據TrendForce數據，2022年SK海力士市占率50%、三星市占率40%、美光市占率10%左右，2023年SK海力士市占率預計為53%，三星市占率38%、美光市占率9%。

HBM在封裝工藝上的變化主要在CoWoS和TSV。

1）CoWoS：是將DRAMDie一同放在硅中介層上，通過過ChiponWafer（CoW）的封裝制程連接至底層基板上，即將芯片通過ChiponWafer（CoW）的封裝制程連接至硅晶圓，再把CoW芯片與基板連接，整合成CoWoS。當前，HBM與GPU集成的主流解決方案為臺積電的CoWoS，通過縮短互連長度實現更高速的數據傳輸，已廣泛應用于A100、GH200等算力芯片中。

2）TSV：TSV硅通孔是實現容量和帶寬擴展的核心，通過在整個硅晶圓厚度上打孔，在芯片正面和背面之間形成數千個垂直互連。在HBM中多層DRAMdie堆疊，通過硅通孔和焊接凸點連接，且只有最底部的die能向外連接到存儲控制器，其余管芯則通過內部TSV實現互連。

審核編輯：黃飛

?