那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA最新GPU帶動(dòng),液冷服務(wù)器市占有望從1%提升到15%

花茶晶晶 ? 來(lái)源:電子發(fā)燒友網(wǎng) ? 作者:黃晶晶 ? 2024-06-14 09:11 ? 次閱讀

電子發(fā)燒友網(wǎng)報(bào)道(文/黃晶晶)數(shù)據(jù)中心向來(lái)是耗電大戶(hù),過(guò)去出于更經(jīng)濟(jì)的考慮氣冷型服務(wù)器占據(jù)主流,如今隨著大語(yǔ)言模型的快速發(fā)展以及Meta的Llama-3和Mistral的Mixtral 8x22B等開(kāi)源模型不斷推出,采用液冷技術(shù)的總擁有成本效益更加突出。未來(lái)液冷服務(wù)器的比重將顯著上升。

液冷產(chǎn)品簡(jiǎn)化AI基礎(chǔ)設(shè)施


最近,Supermicro推出可立即部署式液冷型AI數(shù)據(jù)中心,此數(shù)據(jù)中心專(zhuān)為云原生解決方案而設(shè)計(jì),通過(guò)SuperCluster加速各界企業(yè)對(duì)生成式AI的運(yùn)用,并針對(duì)NVIDIA AI Enterprise軟件平臺(tái)優(yōu)化,適用于生成式AI的開(kāi)發(fā)與部署。

Supermicro的SuperCluster解決方案針對(duì)LLM訓(xùn)練、深度學(xué)習(xí)以及大規(guī)模與大批量推理優(yōu)化Supermicro的SuperCluster支持NVIDIA AI Enterprise,其中包括NVIDIA NIM微服務(wù)和NVIDIA NeMo平臺(tái),能實(shí)現(xiàn)端對(duì)端生成式AI客制,并針對(duì)NVIDIA Quantum-2 InfiniBand以及具有每GPU 400Gb/s網(wǎng)速的新型NVIDIA Spectrum-X以太網(wǎng)絡(luò)平臺(tái)優(yōu)化,可擴(kuò)展到具有數(shù)萬(wàn)個(gè)GPU的大型計(jì)算叢集。

通過(guò)Supermicro的4U液冷技術(shù),NVIDIA近期推出的Blackwell GPU能在單一GPU上充分發(fā)揮20 PetaFLOPS的AI性能,且與較早的GPU相比,能提供4倍的AI訓(xùn)練性能與30倍的推理性能,并節(jié)省額外成本。

Supermicro總裁兼首席執(zhí)行官梁見(jiàn)后表示,我們的解決方案針對(duì)NVIDIA AI Enterprise軟件優(yōu)化,滿(mǎn)足各行各業(yè)的客戶(hù)需求,并提供世界規(guī)模級(jí)效率的全球制造產(chǎn)能。因此我們得以縮短交付時(shí)間,更快提供搭配N(xiāo)VIDIA HGX H100和H200,以及即將推出的B100、B200和GB200解決方案的可立即使用型液冷或氣冷計(jì)算叢集。



液冷型被越來(lái)越多的采用


Supermicro提供的數(shù)據(jù)中心的液冷配置設(shè)計(jì)可幾近免費(fèi),并通過(guò)能持續(xù)降低用電量的優(yōu)勢(shì)為客戶(hù)提供額外價(jià)值。采用液冷方案的整體擁有成本將非常可觀,例如來(lái)自于后期運(yùn)營(yíng)過(guò)程當(dāng)中的電力消耗的減少,5年可以節(jié)省高達(dá)6000萬(wàn)美元的電費(fèi)支出。Supermicro從液冷板到CDU乃至冷卻塔,其機(jī)柜級(jí)全方位液冷解決方案最大可以降低數(shù)據(jù)中心40%的持續(xù)用電量。

液冷并非新的技術(shù),它存在已經(jīng)超過(guò)30年,不過(guò)在采訪中,梁見(jiàn)后表示,之前液冷方案需求量小,并且交期長(zhǎng)約4-12個(gè)月,以小型OEM為主。如今,Supermicro與客戶(hù)重新進(jìn)行子系統(tǒng)和組件設(shè)計(jì)來(lái)提升數(shù)據(jù)中心的性能,并改善了交期,滿(mǎn)足更快的交付要求。

今年以來(lái),客戶(hù)要求新建數(shù)據(jù)中心時(shí)直接采用液冷方案,也希望將舊有的氣冷數(shù)據(jù)中心部分轉(zhuǎn)換成液冷配置。在此需求刺激下,公司液冷業(yè)務(wù)的增長(zhǎng)非常快,產(chǎn)能處于供不應(yīng)求的狀態(tài)。

公司在荷蘭、美國(guó)和馬來(lái)西亞等全球各地?cái)U(kuò)大生產(chǎn)規(guī)模,預(yù)計(jì)2-3個(gè)月內(nèi)馬來(lái)西亞新廠區(qū)即可投產(chǎn)。產(chǎn)能爬坡,供應(yīng)能力增加,令客戶(hù)享受更低成本的初始投資方案以及更低的總擁有成本。

隨著大語(yǔ)言模型的服務(wù)器集群的需求增長(zhǎng),液冷方案有望成為主流。過(guò)去三十年液冷的市場(chǎng)份額估計(jì)都不到1%,但數(shù)據(jù)中心對(duì)液冷方案的采用逐漸增多,這一市占有望提高到15%以上。

不斷拓展液冷型產(chǎn)品線


NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛對(duì)于Supermicro的設(shè)計(jì)給出高度評(píng)價(jià),他表示生成式AI正在推動(dòng)整個(gè)計(jì)算堆棧的重置,新的數(shù)據(jù)中心將會(huì)通過(guò)GPU進(jìn)行計(jì)算加速,并針對(duì)AI優(yōu)化。Supermicro設(shè)計(jì)了頂尖的NVIDIA加速計(jì)算和網(wǎng)絡(luò)解決方案,使價(jià)值數(shù)兆美元的全球數(shù)據(jù)中心能夠針對(duì)AI時(shí)代優(yōu)化。

Supermicro目前的生成式AI SuperCluster液冷型產(chǎn)品包括Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256個(gè)H100/H200 GPU,為5個(gè)機(jī)柜規(guī)模的可擴(kuò)展計(jì)算單元(包括1 個(gè)專(zhuān)用網(wǎng)絡(luò)機(jī)柜)。即將推出的SuperCluster液冷型產(chǎn)品包括Supermicro NVIDIA HGX B200 SuperCluster液冷型,Supermicro NVIDIA GB200 NVL72 或NVL36 SuperCluster液冷型。

當(dāng)然除了液冷型之外,也推出了氣冷型產(chǎn)品,例如氣冷型Supermicro NVIDIA HGX H100/H200 SuperCluster,具有256個(gè)HGX H100/H200 GPU,為9個(gè)機(jī)柜規(guī)模的可擴(kuò)展計(jì)算單元(包括1個(gè)專(zhuān)用網(wǎng)絡(luò)機(jī)柜),以及后續(xù)將推出的Supermicro NVIDIA HGX B100/B200 SuperCluster氣冷型。

Supermicro是主流的AI 服務(wù)器制造商之一。受益于 ChatGPT 引發(fā)的人工智能熱潮,再加上與英偉達(dá)的密切合作,這兩年Supermicro業(yè)績(jī)飆升,并受到資本市場(chǎng)的追捧。如今,Supermicro的液冷服務(wù)器技術(shù)直擊 AI 處理器功耗高的痛點(diǎn),技術(shù)創(chuàng)新和產(chǎn)能提升下,公司的液冷服務(wù)器業(yè)務(wù)將成為強(qiáng)勁的成長(zhǎng)動(dòng)力。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5076

    瀏覽量

    103717
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4774

    瀏覽量

    129350
  • Supermicro
    +關(guān)注

    關(guān)注

    0

    文章

    31

    瀏覽量

    9347
  • 液冷
    +關(guān)注

    關(guān)注

    4

    文章

    108

    瀏覽量

    5120
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    影響服務(wù)器GPU租用價(jià)格的因素

    服務(wù)器GPU租用的價(jià)格受多種因素影響,包括GPU型號(hào)和性能、租用時(shí)長(zhǎng)、帶寬和流量、地理位置、供應(yīng)和需求以及服務(wù)質(zhì)量等。下面,AI部落小編為您詳細(xì)介紹。
    的頭像 發(fā)表于 12-30 10:38 ?187次閱讀

    GPU加速云服務(wù)器怎么用的

    GPU加速云服務(wù)器是將GPU硬件與云計(jì)算服務(wù)相結(jié)合,通過(guò)云服務(wù)提供商的平臺(tái),用戶(hù)可以根據(jù)需求靈活租用帶有
    的頭像 發(fā)表于 12-26 11:58 ?128次閱讀

    GPU服務(wù)器租用費(fèi)用貴嗎

    在云計(jì)算領(lǐng)域,GPU服務(wù)器因其強(qiáng)大的計(jì)算能力和圖形處理能力,被廣泛應(yīng)用于多個(gè)領(lǐng)域。然而,對(duì)于許多企業(yè)和個(gè)人開(kāi)發(fā)者來(lái)說(shuō),GPU服務(wù)器的租用費(fèi)用仍然是一個(gè)重要的考慮因素。那么,
    的頭像 發(fā)表于 12-19 17:55 ?217次閱讀

    GPU服務(wù)器租用多少錢(qián)

    GPU服務(wù)器的租用價(jià)格受多種因素影響,包括服務(wù)提供商、GPU型號(hào)和性能、實(shí)例規(guī)格、計(jì)費(fèi)模式、促銷(xiāo)活動(dòng)以及地域差異等。下面,AI部落小編為您整理GP
    的頭像 發(fā)表于 12-09 10:50 ?241次閱讀

    租用GPU服務(wù)器一般多少錢(qián)

    租用GPU服務(wù)器的費(fèi)用受到多種因素的影響,包括服務(wù)器配置、租用時(shí)長(zhǎng)、服務(wù)提供商以及市場(chǎng)供需狀況等。下面,AI部落小編帶您了解租用GPU
    的頭像 發(fā)表于 11-25 10:28 ?313次閱讀

    英偉達(dá)CEO確認(rèn):液冷Grace Blackwell服務(wù)器無(wú)過(guò)熱問(wèn)題

    近日,英偉達(dá)公司的首席執(zhí)行官(CEO)針對(duì)外界關(guān)注的液冷Grace Blackwell服務(wù)器過(guò)熱問(wèn)題,發(fā)表了明確的看法。他強(qiáng)調(diào),采用液冷技術(shù)的Grace Blackwell服務(wù)器并不存
    的頭像 發(fā)表于 11-21 11:45 ?317次閱讀

    ADS1298將SPI提升到更高頻率將無(wú)法讀取任何信息,為什么?

    ,通過(guò)DRDY引腳的外部中斷中能正確的讀取測(cè)量的數(shù)據(jù)。最多能實(shí)現(xiàn)2KHz的數(shù)據(jù)采集。 現(xiàn)在要將數(shù)據(jù)采集率設(shè)置為8KHz,1MHz的SPI不夠用了。我嘗試將SPI的時(shí)鐘頻率提升到2,4,8,10MHz4個(gè)
    發(fā)表于 11-18 06:25

    GPU服務(wù)器和傳統(tǒng)的服務(wù)器有什么區(qū)別

    GPU服務(wù)器與傳統(tǒng)的服務(wù)器在多個(gè)方面存在顯著差異,主機(jī)推薦小編為您整理發(fā)布GPU服務(wù)器和傳統(tǒng)的服務(wù)器
    的頭像 發(fā)表于 11-07 11:05 ?287次閱讀

    GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

    眾所周知,在大型模型訓(xùn)練中,通常采用每臺(tái)服務(wù)器配備多個(gè)GPU的集群架構(gòu)。在上一篇文章《高性能GPU服務(wù)器AI網(wǎng)絡(luò)架構(gòu)(上篇)》中,我們對(duì)GPU
    的頭像 發(fā)表于 11-05 16:20 ?610次閱讀
    <b class='flag-5'>GPU</b><b class='flag-5'>服務(wù)器</b>AI網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

    GPU高性能服務(wù)器配置

    GPU高性能服務(wù)器作為提升計(jì)算速度和效率的關(guān)鍵設(shè)備,在各大應(yīng)用場(chǎng)景中發(fā)揮著越來(lái)越重要的作用。在此,petacloud.ai小編為你介紹GPU高性能
    的頭像 發(fā)表于 10-21 10:42 ?294次閱讀

    gpu服務(wù)器與cpu服務(wù)器的區(qū)別對(duì)比,終于知道怎么選了!

    gpu服務(wù)器與cpu服務(wù)器的區(qū)別主要體現(xiàn)在架構(gòu)設(shè)計(jì)、性能特點(diǎn)、能耗效率、應(yīng)用場(chǎng)景、市場(chǎng)定位等方面,在以上幾個(gè)方面均存在顯著差異。CPU服務(wù)器更適合數(shù)據(jù)庫(kù)管理和企業(yè)應(yīng)用,而
    的頭像 發(fā)表于 08-01 11:41 ?566次閱讀

    算力服務(wù)器為什么選擇GPU

    隨著人工智能技術(shù)的快速普及,算力需求日益增長(zhǎng)。智算中心的服務(wù)器作為支撐大規(guī)模數(shù)據(jù)處理和計(jì)算的核心設(shè)備,其性能優(yōu)化顯得尤為關(guān)鍵。而GPU服務(wù)器也進(jìn)入了大眾的視野,成為高性能計(jì)算的首選。那么,為什么算力
    的頭像 發(fā)表于 07-25 08:28 ?812次閱讀
    算力<b class='flag-5'>服務(wù)器</b>為什么選擇<b class='flag-5'>GPU</b>

    基于ESP32S進(jìn)行BLE MESH開(kāi)發(fā),基于的是BLE4.2,是否可以提升到BLE5.0?

    1.現(xiàn)在基于ESP32S進(jìn)行BLE MESH開(kāi)發(fā),基于的是BLE4.2,是否可以提升到BLE5.0? 2.BLE4.2是否可以接收到BLE5.0 Beacon?Code: Select all
    發(fā)表于 06-12 07:49

    PUE的拯救者,液冷服務(wù)器

    下,要想借助GPU密集的計(jì)算集群打造智算網(wǎng)絡(luò),是肯定不能在散熱上馬虎的。為此,自19年起組建開(kāi)展商業(yè)化應(yīng)用的液冷服務(wù)器,開(kāi)始慢慢搶占更多的市場(chǎng)份額。 ? 液冷的必要性 ? 隨著英偉達(dá)B
    的頭像 發(fā)表于 06-06 00:23 ?2837次閱讀
    PUE的拯救者,<b class='flag-5'>液冷</b><b class='flag-5'>服務(wù)器</b>

    利用NVIDIA組件提升GPU推理的吞吐

    本實(shí)踐中,唯品會(huì) AI 平臺(tái)與 NVIDIA 團(tuán)隊(duì)合作,結(jié)合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)將推理的稠密網(wǎng)絡(luò)和熱 Embedding 全置于
    的頭像 發(fā)表于 04-20 09:39 ?821次閱讀
    百家乐官网玩法窍门| 澳门百家乐限红规则| 云博娱乐城,| 木棉百家乐官网的玩法技巧和规则| 百家乐博之道娱乐城| 龙都棋牌下载| 网络百家乐官网破| 大发扑克网站| 百家乐翻天快播粤语| A8娱乐城| 圣淘沙百家乐现金网| 百家乐官网买隔一数| 百家乐破解仪| 太阳城百家乐官网赌场| 百家乐玩法的技巧| 网上百家乐官网追杀| 劳力士百家乐的玩法技巧和规则 | 香港百家乐六合彩| 百家乐官网游戏机博彩正网| 百家乐具体怎么收费的| 百家乐官网详情| 东京太阳城王子酒店| 百家乐官网博乐36bol在线| 新濠百家乐娱乐城| 永利百家乐官网赌场娱乐网规则| 德州扑克大赛| 做生意布局风水| 百家乐官网有几种玩法| 百家乐群号| 百家乐官网一拖三| 上游棋牌大厅下载| 百家乐赌博机原理| 豪华百家乐官网桌子厂家| 棋牌类单机游戏下载| 澳门百家乐小游戏| 百家乐官网赌博技巧论坛| 大发888体育场| 百家乐合作代打| 百家乐官网必学技巧| 鹤乡棋牌乐| 专业的百家乐官网玩家|