那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

借助 NVIDIA DPU 和 NVIDIA DOCA 為人工智能時代的數據中心帶來變革

NVIDIA英偉達企業解決方案 ? 來源:未知 ? 2023-03-29 03:40 ? 次閱讀

正如 NVIDIA GTC 2023 的宣布,NVIDIA BlueField-3 DPU(數據處理器)現已全面投產,并被 Oracle 云基礎設施(OCI)選擇來實現更高的性能,更優的效率和更強的安全性。

作為一個 400 Gb/s 的基礎設施計算平臺,BlueField-3 DPU 使企業能夠大規模部署和運營數據中心NVIDIA DOCA 軟件框架現在已支持 BlueField-3 DPU,使成千上萬的開發者能夠利用第三代 DPU 平臺的強大功能來快速創建加速的應用程序和服務。

從數據中心到人工智能工廠


數據中心是新興的人工智能驅動型經濟的核心,數據是原材料,人工智能算法是將數據轉化為有價值見解的處理引擎。BlueField-3 DPU 是為全球數據中心提供動力的 NVIDIA 加速計算堆棧的基礎。通過卸載、加速和隔離數據中心控制平面,BlueField-3 DPU 創建了一個安全、加速和可持續的基礎設施,用于在節點集群中運行人工智能和其他現代工作負載,并作為一個統一的計算平臺運行。

BlueField-3 DPU 專為數據中心規模的計算而設計,提供 400 Gb/s 以太網和 InfiniBand 網絡連接,相比上一代可支持高達 4 倍的計算能力、高達 4 倍的加密加速性能、2 倍的存儲處理性能和 4 倍的內存帶寬,同時通過 NVIDIA DOCA 軟件框架提供完全的向后兼容性。

NVIDIA DOCA 引領加速云服務的發展


NVIDIA DOCA 是專為 BlueField DPU 而設計的軟件開發套件和加速框架。DOCA 旨在通過為 BlueField DPU 快速創建和部署應用程序和服務來解鎖數據中心創新。

NVIDIA DOCA 擁有豐富的庫、驅動程序和 API,可為 BlueField DPU 開發者提供 “一站式服務”,同時也是加速云基礎設施服務的關鍵。這使得 NVIDIA DOCA 成為 NVIDIA 人工智能云服務戰略的關鍵組成部分,該戰略旨在為加速數據中心工作負載和大規模部署人工智能應用程序提供一個靈活而強大的平臺。

目前,全球已有超過 4700 名注冊早期訪問的開發者使用 NVIDIA DOCA 來創建 BlueField DPU 應用程序,NVIDIA 很高興的宣布 NVIDIA DOCA 全面面市,并向所有人開放訪問。
圖 1 . NVIDIA DOCA 2.0 軟件框架

NVIDIA DOCA 2.0

支持全新的 BlueField-3 用例


最新發布的 NVIDIA DOCA 2.0 增加了對 BlueField-3 數據路徑加速器( DPA )編程子系統的支持,包括 DOCA IPsec 加密/解密庫、設備認證和 YARA 規則在內的多項安全增強功能。還包括對 DOCA Flow 庫的增強功能。

NVIDIA DOCA 可為

BlueField-3 DPA 提供可編程性


NVIDIA DOCA 2.0 添加了增強功能,以利用 BlueField-3 DPA 編程子系統。DPA 是一種高度可編程的嵌入式處理器,存在于 BlueField-3 DPU 中。它專為網絡密集型、低計算量任務而構建,如設備仿真、擁塞控制、自定義協議等。


NVIDIA DOCA DPA 庫是 NVIDIA DOCA 軟件開發套件的一部分,它提供了一種編程模型,用于卸載以網絡為中心的代碼,并在 DPA 處理器上運行。DPA 有助于從 CPU 卸載更多類型的流量,并通過 DPU 加速來提高性能。


將用于設備仿真的 VirtIO

卸載到 BlueField-3 DPA


在使用 VirtIO-net 進行設備仿真時,NVIDIA DOCA 和帶有 DPA 的 BlueField-3 DPU 比以前的選項有了顯著的改進。在虛擬化環境中,虛擬機(VM)需要像物理機一樣訪問網絡。


在此示例中,虛擬機通常調用 CPU 來處理特定任務,例如訪問網卡。將此任務從 CPU 卸載到 BlueField-3 DPU 上專門構建的 DPA 引擎,可實現比 BlueField-2 DPU 高 2 倍的性能,以更高的效率來助力降低數據中心功耗。這有效地消除了數據中心網絡稅,否則就會占用本該用于應用程序的 CPU 核心資源。


借助 NVIDIA DOCA IPsec 的安全通信


IPsec 是一種安全協議,提供加密、身份驗證和完整性服務,以保護 IP 數據包免受未經授權的訪問、篡改或竊聽。對安全和高速通信的需求日益增長,這給傳統基于 CPU 的 IPsec 處理帶來了壓力,使卸載成為一種有吸引力的解決方案。


在加速防火墻解決方案中,將 IPsec 卸載到 BlueField-3 DPU 可以優化安全性并加速性能。穿過防火墻的流量可以卸載到 DPU,并通過 IPsec 隧道發送到接收主機,例如,提供具有 200 Gbps 雙向流量的 32K 并發 IPsec 隧道。這降低了 CPU 的利用率,并通過快速、高效的方法管理可信流量。需要進行威脅檢查的剩余流量通過主機和 CPU 進行路由。此過程現已得到優化,由于 CPU 不再管理 IPsec 流量,因此防火墻應用程序可提供更好的性能。


DOCA IPsec 庫的添加為下一代防火墻(NGFW)應用程序帶來了顯著的優勢。庫中包含的資源池,包括消息模板、預寫代碼和子例程,有助于簡化整個開發流程并減少上市時間。DOCA IPsec 庫與 DOCA Flow 庫相互操作,使開發者能夠將多個 DOCA Flow 管道鏈接在一起,用于各種網絡管線設計(例如,DOCA Flow NAT 管道)。


最后,NVIDIA DOCA 現在能夠以更高的速率對新路由和 NAT 表進行編程,使以接近線速速率進行 IPsec 加密和解密既可行又實用,同時減輕了 CPU 的負擔。


5G 工作負載的高效 GPU 通信


NVIDIA Aerial 是一個用于構建高性能、軟件定義 5G L1 堆棧的軟件開發套件,并通過 GPU 的并行處理進行了優化。具體而言,NVIDIA Aerial 軟件開發套件可用于構建基帶單元(BBU)軟件,該軟件負責發送(下行鏈路)或接收(上行鏈路)的無線客戶端數據幀,這些數據幀通過無線電單元(RU)分拆為多個以太網數據包。


在上行鏈路中,BBU 接收分組,驗證它們,并在觸發信號處理之前重建每個 RU 的原始數據幀。使用 NVIDIA Aerial 軟件開發套件,這將發生在 GPU 中,每個時隙的 RU 都有一個專用的 CUDA 內核。然而,隨著基站數量的增加,在網卡和 GPU 之間運行的 CPU 成為了瓶頸。


NVIDIA DOCA 軟件框架提供了一種將 CPU 從關鍵路徑中移除并實現網卡和 CUDA 內核之間的直接通信的方法(GPUDirect 異步內核啟動技術)新的 DOCA GPUNetIO 庫提供了 CUDA 設備功能,應用程序可以在 CUDA 內核中調用這些功能,以便直接向 GPU 發送或從 GPU 接收數據包,而無需使用 CPU 核心或內存。


通過這種方式,NVIDIA Aerial BBU 軟件可以提供一種高度并行化和可擴展的方法,每個基站都有一個專用的 CUDA 內核來接收數據包。這使系統容量提高了 4 倍(從采用以 CPU 為中心的 4 個基站到通過 DOCA GPUNetIO 的以 GPU 為中心的 16 個基站)。


CPU 不再需要與 GPU 通信來提供數據包信息,使 CPU 能夠專注于應用程序處理,而不是管理網絡開銷。


掃描下方二維碼,立即注冊 NVIDIA DOCA GPUNetIO 搶先體驗計劃。



加速人工智能服務


為了充分發揮人工智能的潛力,數據中心正轉向加速計算,以滿足日益增長的計算需求。BlueField-3 DPU 是第三代基礎設施計算平臺,支持 400 Gb/s 網絡連接,并提供前所未有的計算和加速能力。在 NVIDIA DOCA 2.0 版本的支持下,BlueField-3 DPU 正在為人工智能時代云、超級計算和企業數據中心帶來變革。

NVIDIA DOCA 現已開放接受申請,掃描下方二維碼即可注冊體驗!





掃描海報二維碼,或點擊“閱讀原文”,即可觀看 NVIDIA 創始人兼首席執行官黃仁勛 GTC23 主題演講重播!



原文標題:借助 NVIDIA DPU 和 NVIDIA DOCA 為人工智能時代的數據中心帶來變革

文章出處:【微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英偉達
    +關注

    關注

    22

    文章

    3847

    瀏覽量

    91968

原文標題:借助 NVIDIA DPU 和 NVIDIA DOCA 為人工智能時代的數據中心帶來變革

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    利用NVIDIA DPF引領DPU加速云計算的未來

    越來越多的企業開始采用加速計算,從而滿足生成式 AI、5G 電信和主權云的需求。NVIDIA 推出了 DOCA 平臺框架(DPF),該框架提供了基礎構建模塊來釋放 NVIDIA BlueField
    的頭像 發表于 01-24 09:29 ?210次閱讀
    利用<b class='flag-5'>NVIDIA</b> DPF引領<b class='flag-5'>DPU</b>加速云計算的未來

    NVIDIA DOCA 2.9版本的亮點解析

    NVIDIA DOCA通過為開發者提供全面的軟件框架以利用硬件加速來增強 NVIDIA 網絡平臺的功能,從而提高性能、安全性和效率。其 API、庫和工具生態系統簡化了數據中心基礎設施的
    的頭像 發表于 11-27 11:15 ?403次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>DOCA</b> 2.9版本的亮點解析

    嵌入式和人工智能究竟是什么關系?

    理這些數據,提高系統的響應速度和準確性。此外,嵌入式系統還可以為人工智能提供安全和隱私保護,避免數據泄露和攻擊。總之,嵌入式系統和人工智能是相輔相成的,它們在許多領域都有廣闊的應用前景
    發表于 11-14 16:39

    人工智能對數據中心的挑戰

    在加密貨幣和人工智能/機器學習(AI/ML)等新興應用的驅動下,數據中心的能耗巨大,并將快速增長以滿足用戶需求。根據國際能源署(IEA)的最新報告,2022 年數據中心的耗電量將達到 460 TWh
    的頭像 發表于 11-13 16:05 ?443次閱讀
    <b class='flag-5'>人工智能對數據中心</b>的挑戰

    NVIDIA DOCA-OFED的主要特性

    NVIDIA DOCA 軟件平臺釋放了 NVIDIA BlueField 網絡平臺的潛力,并為NVIDIA BlueField和ConnectX設備提供了所需的所有主機驅動程序。
    的頭像 發表于 11-09 13:50 ?347次閱讀

    NVIDIA 在 Hot Chips 大會展示提升數據中心性能和能效的創新技術

    、在處理器及系統架構師領域的深度技術盛會,Hot Chips 已經成為價值萬億美元的數據中心計算市場的一個重要論壇。 在本周舉行的 Hot Chips 2024 上,NVIDIA 的高級工程師們展示了
    的頭像 發表于 08-28 16:38 ?415次閱讀
    <b class='flag-5'>NVIDIA</b> 在 Hot Chips 大會展示提升<b class='flag-5'>數據中心</b>性能和能效的創新技術

    IB Verbs和NVIDIA DOCA GPUNetIO性能測試

    NVIDIA DOCA GPUNetIO 是 NVIDIA DOCA SDK 中的一個庫,專門為實時在線 GPU 數據包處理而設計。它結合了
    的頭像 發表于 08-23 17:03 ?707次閱讀
    IB Verbs和<b class='flag-5'>NVIDIA</b> <b class='flag-5'>DOCA</b> GPUNetIO性能測試

    借助電源完整性測試提高人工智能數據中心的能效

    數據中心正在部署基于人工智能 (AI) 的技術,處理器密集型服務器正在推動能源需求的增長,下表說明了這種發展趨勢所帶來的巨大影響。國際能源署 (IEA) 預測,到2030年,數據中心
    的頭像 發表于 07-30 09:36 ?602次閱讀
    <b class='flag-5'>借助</b>電源完整性測試提高<b class='flag-5'>人工智能</b><b class='flag-5'>數據中心</b>的能效

    AI時代,我們需要怎樣的數據中心?AI重新定義數據中心

    超過60%的中國企業計劃在未來12至24個月內部署生成式人工智能。AI、模型的構建,將顛覆數據中心基礎設施的建設、運維和運營。一個全新的數據中心智能化時代已經拉開序幕。
    發表于 07-16 11:33 ?775次閱讀
    AI<b class='flag-5'>時代</b>,我們需要怎樣的<b class='flag-5'>數據中心</b>?AI重新定義<b class='flag-5'>數據中心</b>

    人工智能數據中心的新型連接解決方案

    支持新型人工智能數據中心架構的先進連接解決方案不斷涌現。高速板對板連接器、下一代電纜、背板和近似集成電路連接器對電纜解決方案的運行速度高達224Gb/s-PAM4,將加速未來計算的發展。人工智能
    的頭像 發表于 06-13 08:26 ?640次閱讀
    <b class='flag-5'>人工智能</b><b class='flag-5'>數據中心</b>的新型連接解決方案

    夏普討論建立人工智能數據中心

    近日,夏普公司宣布與KDDI公司達成重要合作意向,雙方將針對建立人工智能數據中心進行深入討論。據悉,此次合作將圍繞英偉達的人工智能計算平臺和Supermicro平臺展開,共同探索人工智能
    的頭像 發表于 06-05 09:17 ?509次閱讀

    借助NVIDIA DOCA 2.7增強AI 云數據中心NVIDIA Spectrum-X

    NVIDIA DOCA 加速框架為開發者提供了豐富的庫、驅動和 API,以便為 NVIDIA BlueField DPU 和 SuperNIC 創建高性能的應用程序和服務。
    的頭像 發表于 05-29 09:22 ?545次閱讀

    進一步解讀英偉達 Blackwell 架構、NVlink及GB200 超級芯片

    、庫及優化的AI模型和應用程序,為用戶提供全面的AI計算解決方案。 DGX SuperPOD - 專為人工智能設計的數據中心 NVIDIA 發布專為訓練和推理萬億參數生成式AI模型而設計的數據
    發表于 05-13 17:16

    嵌入式人工智能的就業方向有哪些?

    嵌入式人工智能的就業方向有哪些? 在新一輪科技革命與產業變革時代背景下,嵌入式人工智能成為國家新型基礎建設與傳統產業升級的核心驅動力。同時在此背景驅動下,眾多名企也紛紛在嵌入式
    發表于 02-26 10:17

    基于NVIDIA DOCA 2.6實現高性能和安全的AI云設計

    作為專為 NVIDIA? BlueField? 網絡平臺而設計的數據中心基礎設施軟件框架,NVIDIA? DOCA? 使廣大開發者能夠利用其行業標準 API 在
    的頭像 發表于 02-23 10:02 ?536次閱讀
    金沙县| 澳门百家乐官网论坛| 百家乐官网真人游戏网上投注| 佛学| 陇南市| 绿春县| 单张百家乐官网论坛| 金赞百家乐官网现金网| 百家乐官网娱乐城足球盘网| 澳门百家乐官网介绍| 百家乐官网五湖四海娱乐网| 德州百家乐官网赌博规则| 百家乐官网是不是有假| 网上玩百家乐官网好吗| 百家乐官网连跳规律| 百家乐官网发牌靴发牌盒| 澳门百家乐官网论| 赌百家乐大小点桌| 赌场百家乐玩法介绍| 中华百家乐官网的玩法技巧和规则| 百家乐系统分析器| 哪里有百家乐赌博网站| 利来百家乐的玩法技巧和规则| 大发888游戏是真的吗| 大发888官网吧| 武宣县| 皇家百家乐官网出租平台| 做生意讲究风水| A8百家乐娱乐场| 网上百家乐公| 网上真钱棋牌游戏| 澳门百家乐官网路子分析| 属虎属龙做生意| 澳门百家乐鸿运| 大发888免费娱乐| 能赢钱的棋牌游戏| 澳门百家乐官网娱乐城怎么样| 百家乐官网技巧经| 百家乐稳定打法| 真人游戏下载| 澳门百家乐官网心德|