那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

浪潮信息AI存儲性能測試的領先之道

浪潮存儲 ? 來源:浪潮存儲 ? 2024-10-29 16:30 ? 次閱讀

MLCommons,一個致力于推動全球 AI系統發展的頂級工程聯盟,匯聚了包括谷歌、斯坦福大學在內的眾多頂尖企業和研究機構。作為該聯盟的創始成員之一,浪潮信息自2020年起便積極參與其中,共同探索AI技術的無限可能。近日,在MLCommons的子項目MLPerf Storage v1.0性能基準評測中,浪潮信息再度展現了在AI存儲領域的卓越實力。

MLPerf Storage v1.0評測旨在全方位考量AI系統在端、邊、云等場景下的訓練、推理、存儲及安全性能。此次評估分為封閉賽道和公開賽道兩大類別。浪潮信息此次選擇了封閉賽道,要求嚴格遵循既定配置和代碼規范,以確保所有提交結果的公平性和可比性,在既定規則下更能客觀真實地展現產品的實際能力。公開賽道允許在基準測試和存儲系統配置方面有更多的靈活性,以展示對AI/ML社區有益的新方法或新功能。

MLPerf Storage v1.0工具是一個開源工具,可以從Github平臺下載。該工具允許所有廠商加入Storage社區,發表見解,提出發現的問題和改進意見。在此次測試中,浪潮信息率先發現了測試負載CosmoFlow模型提交規則標準的問題(GPU利用率實際達不到90%)。通過多次橫向交流和社區溝通,浪潮信息得到了Micron、NVIDIA等多家廠商的積極響應,最終推動了社區對CosmoFlow模型提交規則的修改(GPU利用率要求降至70%)。這一舉措不僅體現了浪潮信息在測試過程中的積極參與,也展示了其作為國內參與該社區工具構建的先驅廠商的實力。

值得一提的是,MLPerf Storage v1.0評估采用了三種具有代表性的測試模型,分別是圖像分割領域的3D-UNet模型(平均文件大小146M,采用NPZ格式)、HPC領域的CosmoFlow模型(平均文件大小2.2M,采用TFRecord格式)以及圖像分類領域的ResNet50模型(平均文件大小百KB,采用TFRecord格式)。這些測試模型的選擇,不僅全面覆蓋了AI應用的主要場景,也確保了評估結果的客觀性和準確性。

核心概念

模擬加速器:通過引入非真實的GPU/TPU等加速器,為測試者提供了一個無需實際硬件加速器的測試環境,旨在降測試成本、保證公平性的同時,提升測試效率。(本次社區提供模擬加速器H和模擬加速器A)。

加速器利用率(Accelerator Utilization ,AU):衡量模擬加速器在基準測試過程中利用效率的關鍵指標,其計算公式為:

0035c4e0-95a8-11ef-a511-92fbcf53809c.png

主機節點(Host Node):即客戶端,是運行MLPerf存儲基準代碼的機器,類似于AI訓練集群中搭載GPU的計算服務器。主機節點的性能與配置對存儲系統的測試結果具有重要影響。

提交規則

MLPerf Storage的提交規則旨在確保測試結果的統一性和可比性。主要規則包括:

前置條件(單主機提交規則):所有提交結果必須滿足AU在3D-UNet和ResNet50上達到90%,在CosmoFlow上達到70%及以上。同時,禁止使用主機節點緩存。

多主機提交規則:在多主機測試環境中,每個主機節點的模擬加速器數量必須一致,且所有主機的測試運行參數也必須保持一致。

從 MLPerf Storage的基本概念和提交規則來看,社區致力于通過統一標準和減少變量來確保測試結果的統一、公正和可評估性。然而,在實際測試中,仍存在兩個難以統一的影響因素:一是存儲架構的多樣性,涵蓋集中式、分布式及云端等多種形態;二是存算節點配置非標準化,如主機與存儲節點配置不統一。這些因素的共同作用下,使得單一的測試指標難以全面反映各廠商存儲系統在AI場景下的適配程度。性能,無疑是AI存儲的一大關鍵需求。浪潮信息在MLPerf Storage v1.0基準測試中取得5項性能全球第一,單節點性能達到120GB/s,充分展示了在AI存儲性能測試領域的領先優勢。然而,若僅將存儲帶寬作為評估標準,采用如Vdbench、FIO等專業存儲測試軟件即可滿足需求,無需借助MLPerf Storage這類針對AI場景的基準測試工具。事實上,AI對存儲的需求遠不止于產品性能本身,而是要求整體解決方案能夠高度適配AI應用場景。那么,如何科學衡量一套存儲系統是否適合AI場景呢?基于MLPerf Storage的提交規則,我們不妨回歸AI存儲的本質——即最大限度提升客戶端資源利用,減少資源浪費,以支撐更多的GPU計算。

MLPerf Storage的核心要求聚焦于兩大要素:一是加速器利用率(AU)需達到90%或70%以上;二是“最大加速卡數”,即在固定AU閾值下,存儲系統所能支撐的單節點最大加速卡數及多節點下每個客戶端的最大加速卡數。這里的“最大”不僅意味著帶寬要高,同時要求時延要低。在計算節點提供固定網絡帶寬的條件下,時延的降低意味著在相同時間內能夠供給的數據量增多,從而支持更多的加速卡。

004dcb1c-95a8-11ef-a511-92fbcf53809c.png

在客戶端與存儲側網絡連接帶寬一定的情況下,單次IO時延的降低將直接導致每秒鐘能夠提供的文件數量增多,進而提升客戶端實際表現的帶寬。由于主機節點提供的網絡帶寬存在理論上限,因此,在存儲集群吞吐量略大于客戶端網絡總帶寬的情況下,既要確保AU在90%以上,又要盡可能跑滿每個客戶端的理論帶寬,以實現最佳存儲性能。

然而,在實際應用中,由于軟硬件開銷的存在,客戶端網絡往往難以完全跑滿。因此,在AU達到90%的條件下,盡可能提高主機節點帶寬的利用率,成為最大化計算資源、避免網絡資源浪費的關鍵。這實際上就涉及到了主機節點網絡利用率的計算,其公式為:

0059022a-95a8-11ef-a511-92fbcf53809c.png

鑒于各廠商解決方案中主機節點連接存儲節點的網絡理論帶寬是固定的,我們可以將所有廠商的解決方案歸一化到網絡利用率這一指標上,從而在不考慮存算配置差異的情況下,對各廠商解決方案的表現進行客觀分析。以3D-UNet加速器H多客戶端下的測試結果為例,通過整理各廠商的測試結果,我們得到了該模型下的網絡利用率數據:

005ccfea-95a8-11ef-a511-92fbcf53809c.png

從結果來看,在AU達到90%以上時,浪潮信息本次提交的解決方案在網絡利用效率方面表現出色,達到了72%,相比之下,其他供應商的解決方案整體網絡利用率僅維持在50%左右,這直接導致了大量網絡資源的閑置。尤其在客戶端配置雙網卡情境下,實際利用率僅為50%左右,意味著整套方案實質上浪費了近乎一整張網卡資源,大大增加了總體成本。若在大模型訓練的萬卡集群下,僅網卡資源的浪費就高達數千萬級別,更不必說設備擴容所引發的算力利用率下降、連接線增加、運維復雜度提升等連鎖成本效應。對于本就成本高昂的AI基礎設施(AI Infra)而言,任何可以削減的開支都顯得尤為關鍵。此時,不同存儲解決方案下的網絡利用率便成為衡量成本效益的核心指標——網絡利用率越高,成本支出越低,算力潛能得以更充分釋放,存儲與AI應用場景的契合度也越高。通過AI存儲基準測試展現存儲對整個計算集群的支撐能力,這也是符合MLPerf Stortage作為AI測試基準,為ML/AI模型開發者選擇存儲解決方案提供權威參考的創立初衷。

進一步以3D-UNet加速器H單客戶端測試為例,我們發現,即便在單客戶端場景下,存儲集群的總帶寬依然超越了單客戶端的帶寬需求。浪潮信息的單客戶端網絡利用率依然保持在70%以上,實現了對雙網卡資源的最大化利用。

0062d976-95a8-11ef-a511-92fbcf53809c.png

綜上所述,無論是單客戶端還是多客戶端環境,浪潮信息均能在AU超過90%的同時,維持70%以上的網絡利用率,與AI應用場景保持了高度的適配性。

浪潮信息與AI場景的緊密契合,主要歸因于兩大核心優勢。一是產品場景化定制,緊密圍繞客戶需求,從實際應用出發,提升產品性能,打造真正貼合AI需求的存儲產品;二是成熟的AI場景解決方案能力,精準平衡客戶需求、資源分配與成本控制,通過優化解決方案與配置,為AI場景構建堅實的數據支撐平臺。

解讀MLPerf Storage這一AI存儲評測標準,其核心在于檢驗各廠商解決方案在保持加速器利用率90%以上的前提下,能否在性能與資源利用之間找到最佳平衡點。測試結果顯示,在相同AU條件下,浪潮信息能夠進一步提升網絡利用率,有效減少AI Infra的資源浪費。此次權威評測不僅驗證了浪潮信息存儲在AI場景下整體解決方案的實力,更彰顯了其新產品完全滿足AI應用對存儲嚴苛要求的能力,展現出強大的市場競爭力。對于客戶而言,浪潮信息憑借定制化產品開發模式和成熟的存儲解決方案能力,提供AI存儲的最優解,為產業AI化(AI+)提供堅實的數據存儲底座。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4353

    瀏覽量

    86164
  • 浪潮
    +關注

    關注

    1

    文章

    468

    瀏覽量

    23945
  • AI
    AI
    +關注

    關注

    87

    文章

    31506

    瀏覽量

    270302
  • MLPerf
    +關注

    關注

    0

    文章

    35

    瀏覽量

    648

原文標題:MLPerf? Storage v1.0深度解析:浪潮信息AI存儲性能測試的領先之道

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    浪潮信息MLPerf單機系統測試:7項性能第一

    ,獲得7項冠軍。該成績同時也意味著,浪潮信息在MLPerf?2021年度4次性能測試累計斬獲44項第一,毫無懸念地名列MLPerf?2021年度冠軍榜首。 MLPerf是影響力最廣的國際AI
    發表于 12-08 10:35 ?878次閱讀
    <b class='flag-5'>浪潮信息</b>MLPerf單機系統<b class='flag-5'>測試</b>:7項<b class='flag-5'>性能</b>第一

    MLPerf訓練性能測試榜單發布,浪潮信息刷新多項紀錄

    日前,由谷歌、微軟云、英偉達、浪潮信息、百度、戴爾、聯想等14家公司及科研機構參與的MLPerf 訓練性能測試正式發布榜單成績。浪潮信息憑借兩款AI
    的頭像 發表于 12-14 10:25 ?2286次閱讀
    MLPerf訓練<b class='flag-5'>性能</b><b class='flag-5'>測試</b>榜單發布,<b class='flag-5'>浪潮信息</b>刷新多項紀錄

    MLPerf評測完美收官,浪潮信息44項冠軍成功領跑

    的出色表現,成功摘得其中的7項性能第一。至此,浪潮信息2021年在MLPerf測試數據中心AI推理、邊緣AI推理和單機
    的頭像 發表于 12-15 10:05 ?1942次閱讀
    MLPerf評測完美收官,<b class='flag-5'>浪潮信息</b>44項冠軍成功領跑

    音樂分離AI模型研發成功,浪潮信息AI算力服務助力

    該音樂院校與浪潮信息密切合作,通過AI算力服務解決算力挑戰。浪潮信息以高性能、高質量的AI算力服務協助用戶進行音樂分離
    的頭像 發表于 04-25 11:04 ?1437次閱讀
    音樂分離<b class='flag-5'>AI</b>模型研發成功,<b class='flag-5'>浪潮信息</b>以<b class='flag-5'>AI</b>算力服務助力

    合肥大唐存儲與KeyarchOS完成浪潮信息澎湃技術兼容性認證

    日前,合肥大唐存儲DSS200企業級固態硬盤與浪潮信息云巒操作系統KeyarchOS(簡稱浪潮信息KOS)V5完成并通過了兼容性適配認證。測試結果顯示,合肥大唐
    的頭像 發表于 07-08 06:20 ?612次閱讀
    合肥大唐<b class='flag-5'>存儲</b>與KeyarchOS完成<b class='flag-5'>浪潮信息</b>澎湃技術兼容性認證

    智慧有數 浪潮信息發布生成式AI存儲解決方案

    與管理瓶頸,浪潮信息在"數智未來"AIGC數據應用創新論壇上,正式發布面向生成式AI存儲解決方案,該方案以極致融合、極致性能、極致節能,和熱溫冷冰四級數據全生命周期管理,助力開啟生成
    的頭像 發表于 07-11 09:46 ?443次閱讀

    浪潮信息澎湃認證:浪潮分布式存儲攜手博雅云OneSRM SMP存儲管理平臺完成兼容性認證

    近日, 博雅云OneSRM SMP存儲管理平臺與浪潮分布式存儲AS13000系列產品完成并通過浪潮信息澎湃技術相互兼容性測試認證 ,
    的頭像 發表于 07-12 09:15 ?665次閱讀
    <b class='flag-5'>浪潮信息</b>澎湃認證:<b class='flag-5'>浪潮</b>分布式<b class='flag-5'>存儲</b>攜手博雅云OneSRM SMP<b class='flag-5'>存儲</b>管理平臺完成兼容性認證

    浪潮信息NF5468服務器LLaMA訓練性能

    浪潮信息宣布旗下NF5468系列AI服務器率先支持英偉達最新推出的L40S GPU,可為人工智能大模型訓練和推理、元宇宙及圖形視頻處理等應用提供強大算力。實際測試表明,搭載8顆NVIDIA L40S
    的頭像 發表于 09-22 11:16 ?2437次閱讀

    浪潮信息澎湃認證:浪潮信息集中式存儲攜手達夢數據庫管理系統V8完成兼容性認證

    近日, 達夢數據庫管理系統V8與浪潮信息集中式存儲AS/HF系列產品完成并通過浪潮信息澎湃技術相互兼容性測試認證 ,測試結果顯示,達夢數據庫
    的頭像 發表于 09-27 17:10 ?658次閱讀
    <b class='flag-5'>浪潮信息</b>澎湃認證:<b class='flag-5'>浪潮信息</b>集中式<b class='flag-5'>存儲</b>攜手達夢數據庫管理系統V8完成兼容性認證

    浪潮信息澎湃認證:浪潮信息集中式存儲攜手儀電云i-stack云操作系統軟件完成兼容性認證

    近日, 儀電云i-stack云操作系統軟件與浪潮信息集中式存儲AS/HF系列產品完成并通過浪潮信息澎湃技術相互兼容性測試認證, 測試結果顯示
    的頭像 發表于 12-08 16:40 ?682次閱讀
    <b class='flag-5'>浪潮信息</b>澎湃認證:<b class='flag-5'>浪潮信息</b>集中式<b class='flag-5'>存儲</b>攜手儀電云i-stack云操作系統軟件完成兼容性認證

    浪潮信息發布AS13000G7-N系列分布式全閃存儲

    浪潮信息近日推出了專為大型AI模型優化的AS13000G7-N系列分布式全閃存儲。該系列基于浪潮信息自研的分布式文件系統,結合新一代數據加速引擎DataTurbo,為用戶提供卓越的
    的頭像 發表于 05-14 10:03 ?618次閱讀

    CCF-TCIST走進浪潮信息 共話AI時代存儲創新

    CCF信息存儲技術專委會走進浪潮信息 共話大模型時代的存儲創新之道 北京2024年6月7日?/美通社/ -- 近日,中國計算機學會
    的頭像 發表于 06-07 14:27 ?314次閱讀
    CCF-TCIST走進<b class='flag-5'>浪潮信息</b> 共話<b class='flag-5'>AI</b>時代<b class='flag-5'>存儲</b>創新

    浪潮信息推出AIGC存儲解決方案

    近日,在科技創新的浪潮中,浪潮信息成功舉辦了“元腦中國行”全國巡展的杭州站活動,此次盛會不僅匯聚了業界的精英與目光,更見證了浪潮信息在AIGC(人工智能生成內容)領域的一次重大突破。會上,浪潮
    的頭像 發表于 07-03 11:16 ?799次閱讀

    長擎安全操作系統24與浪潮信息HF/AS存儲系列成功兼容

    在數字化轉型浪潮席卷全球的今天,信息安全與數據存儲的穩定高效成為企業不可忽視的兩大核心要素。近日,一項重要的技術兼容性測試認證結果揭曉,標志著長擎安全操作系統24與
    的頭像 發表于 07-22 16:20 ?761次閱讀

    浪潮信息AS13000G7榮獲MLPerf? AI存儲基準測試五項性能全球第一

    北京2024年9月27日?/美通社/ -- 9月25日,MLCommons協會發布最新MLPerf? Storage v1.0 AI存儲基準測試成績。浪潮信息分布式
    的頭像 發表于 09-28 16:46 ?251次閱讀
    <b class='flag-5'>浪潮信息</b>AS13000G7榮獲MLPerf? <b class='flag-5'>AI</b><b class='flag-5'>存儲</b>基準<b class='flag-5'>測試</b>五項<b class='flag-5'>性能</b>全球第一
    百家乐官网开户送10彩金| 澳门百家乐玩法| 百家乐官网摇色子网站| 上蔡县| 阿克| 百家乐官网全程打庄| 银河娱乐场| 洛隆县| 真人百家乐官网怎么对冲| 网上百家乐官网赌法| 稳赢百家乐官网的玩法技巧 | 百家乐官网发牌靴遥控| 大上海百家乐官网的玩法技巧和规则| 真博百家乐官网的玩法技巧和规则 | 大发888娱乐城存款| 大发888娱乐场 手机版| 永利高现金网| 水果机定位器| 搏天堂| e世博百家乐官网娱乐场| 百家乐官网大路小路三珠路| 做生意办公桌摆放风水| 网络百家乐会作假吗| 威尼斯人娱乐城真钱赌博| 香港六合彩网| 百家乐官网娱乐城会员| 在线百家乐官网平台| 三公百家乐官网在哪里可以玩| 澳门玩百家乐赢1000万| 威尼斯人娱乐城老| bet365投注| 百家乐官网闲和庄| 属猪的做生意门朝向| 百家乐娱乐网会员注册| 大发888ios版| 百家乐官网十佳投庄闲法| 百家乐官网游戏机在哪有| 百家乐分析软体| 大发888怎样存款| 真人百家乐官网皇冠网| 华泰百家乐官网的玩法技巧和规则 |