那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于openEuler構建的DPU-OS解決 DPU 廠商及客戶之間的適配問題

openEuler ? 來源:openEuler ? 2023-11-02 10:03 ? 次閱讀

在數據中心及云場景下,摩爾定律失效,通用處理單元 CPU 算力增長速率放緩,而網絡 IO 類速率及性能不斷攀升,二者增長速率差異形成剪刀差,即當前通用處理器的處理能力無法跟上網絡、磁盤等 IO 處理的需求。傳統數據中心下越來越多的通用 CPU 算力被 IO 及管理面等處理占用,這部分資源損耗稱之為數據中心稅(Datacenter Tax)。據 AWS 和 Google Cloud 統計,數據中心稅可能占據數據中心算力的 30% 以上,部分場景下甚至可能更多[1][2]。

DPU (Data Processing Unit) 的出現就是為了將這部分算力資源從主機 CPU上解放出來,通過將管理面、網絡、存儲、安全等能力卸載到專有的處理器芯片上進行處理加速,達成降本增效的結果。目前主流云廠商如 AWS 、阿里云、華為云都通過自研芯片完成管理面及相關數據面的卸載,實現數據中心計算資源 100% 售賣給客戶。

DPU 發展非常火熱。云廠商及大數據在相關場景下對 DPU 存在較強烈的需求,國內也有很多 DPU 初創公司推出不同的 DPU 產品。在這一背景下,云和大數據等廠商需要考慮如何整合使用不同 DPU 產品,而 DPU 廠商也面臨對不同客戶交付時設備驅動適配客戶指定操作系統的問題。

openEuler 作為國內領先的開源開放操作系統,通過基于 openEuler 構建的 DPU-OS ,解決 DPU 廠商及客戶之間的適配問題。除此之外, DPU 上 OS 用于承載部分業務加速的需求,需要對 DPU-OS 進行性能優化加速,可以基于 openEuler 構建 DPU 相關加速能力,內置在 DPU-OS 中,構建 DPU 相關軟件生態。

DPU現狀
DPU 普遍具有以下特點及問題:

1. DPU 通用處理能力資源受限

當前 DPU 仍處在發展早期階段,硬件上仍在不斷演進,而且由于 DPU 供電限制,當前硬件規格普遍較低。主流 DPU 中通用處理器 CPU 核數較少,約 8-24 CPU ,且單核處理能力弱。內存大小受限,普遍在 16-32GB 。DPU 本地存儲空間為幾十到幾百 GB 不等。運行于 DPU 之上的操作系統也需要考慮這些限制。

2.DPU-OS 安裝方式多樣

當前 DPU 廠商及產品多種多樣,對應操作系統的安裝部署方式也不盡相同,包括 PXE 網絡安裝、U盤安裝或其他自定義安裝方式(由 HOST 下發安裝鏡像)。

3.DPU 性能需求

DPU 的應用場景決定其對性能有強烈需求。相比于通用服務器操作系統,DPU-OS 可能對內核特性或功能組件有特殊要求,比如用于設備直通熱遷移的 vDPA 特性、廠商特定驅動適配支持、DPU 進程的無感卸載特性、定制優化的用戶態數據面加速工具如 DPDK/SPDK/OVS、DPU 管理監控相關的工具類組件。

DPU-OS 需求
針對以上 DPU 現狀,提出對 DPU-OS 的需求如下:

1.極致輕量的 DPU-OS 安裝包

通過裁剪 openEuler 系統鏡像,減少非必要安裝包的空間占用;通過優化系統服務,減少資源底噪開銷。

2.裁剪配置及工具支持

提供裁剪配置及裁剪工具支持,客戶或 DPU 廠商可根據各自需求進行定制;openEuler 提供 ISO 參考實現。

3.定制化內核及系統,提供極致性能

通過定制內核及相關驅動,提供 DPU 競爭力內核特性;定制化加速類組件,使能 DPU 硬件加速能力;優化系統配置提供更優性能;通過 DPU 相關管理控制工具,方便用戶統一管理。

DPU-OS設計

62ca15e6-78a0-11ee-939d-92fbcf53809c.png

圖1 DPU-OS 整體設計

如圖所示,DPU-OS 分為五層設計:

內核層:通過定制內核 config ,裁剪非必需內核特性及模塊,達成內核輕量級效果;使能特定內核特性提供高性能 DPU 內核能力。

驅動層:對 openEuler 原生驅動進行裁剪定制,選擇最小集合;DPU 廠商相關底層驅動集成,原生支持部分 DPU 硬件產品。

系統配置層:通過對系統 sysctl 、proc 進行配置,為 DPU 相關業務提供最優性能。

外圍包層:對 openEuler 外圍包進行裁剪定制,選擇最小集合;提供 DPU 相關的定制工具集合。

系統服務層:通過優化系統原生服務啟動項,減少非必要系統服務運行,保證系統運行時底噪最小化。

通過上述五層設計達成輕量化、極致性能 DPU-OS 的目標。該方案為相對長期設計,且對 DPU 相關軟硬件生態有較強的依賴。

當前對 DPU-OS 的實現還處于第一階段,專注于通過 openEuler imageTailor 工具進行進項裁剪,提供最小化的 DPU-OS 實現。后續規劃通過對內核及 DPU 相關組件的定制化修改、配置提供專用 DPU-OS 能力,提供高性能 DPU-OS 。

說明:

1. 當前階段的 DPU-OS 先基于 openEuler 現有內核及外圍包,使用鏡像裁剪工具 imageTailor 進行裁剪,提供輕量化 OS 安裝鏡像。后續可根據實際訴求,進行相關內核及外圍包特性的開發及集成。

2. DPU-OS 的裁剪步驟可參考社區文檔 DPU-OS 裁剪指導[3],驗證與部署可參考 DPU-OS 部署驗證[4]。

客戶案例

天翼云

作為 openEuler 的重要合作伙伴,天翼云自身的 CTyunOS 系統脫胎于 openEuler,CTyunOS 目前在 DPU-OS 方面也進行了一些前期的構建與試驗工作。包括:

1. 基于 CTyunOS3 系統和 sig-DPU 發布的 DPU-OS 組件,構建 x86_64 和 aarch64 架構的 DPU-OS 鏡像。

2. 針對 kernel 包根據 DPU 實際要求進行定制(剔除 builtin 的 virtio-pci、virtio-ring 模塊等)。

3. 鏡像中增加定制外圍包,如 bash 命令補全、自定義工具、DPU 驅動包等。

4. DPU-OS 配置相關組件及服務,聯網情況下支持 yum 方式進行包更新升級。

天翼云 DPU 團隊在后續的 DPU 2.0 規劃里,將全面采用自身的 CTyunOS 系統,主推使用基于 CTyunOS3 構建的 DPU-OS 。相關需求與特性反饋給社區,與 openEuler 協作共建 DPU 軟件生態。

中科馭數

openEuler 為 DPU 應用發展落地提供良好的土壤,DPU 作為新生事物快速發展。DPU 往往會包含通用 CPU 架構的芯片來處理復雜的控制面邏輯。例如在虛擬化網絡體系中,需要 CPU 來運行復雜的網絡控制面程序;在網絡安全領域,眾多不同的安全框架也依賴 CPU 提供基礎算力。

而在 CPU 的具體選型上,DPU 產品面臨在不同應用場景、不同算力需求下的選擇問題。如 x86 可以提供強勁的性能,但是無法和 DPU 芯片做到較好融合;ARM 可以解決上述難題,但是在重應用卸載的場景存在性能問題;RISC-V 在成本與靈活性上能提供最優方案,但是代價是應用場景的適配性不高。總之,在 CPU 的選型上目前還沒有最優解。在這種背景下,操作系統的選型至關重要。DPU 廠商在自己的操作系統選型中,往往會優先考慮下面幾個問題:

* 穩定與安全性

* 對底層不同架構的適配性

* 可裁剪與靈活性

經過充分的調研論證與測試,中科馭數為自己的 DPU 產品選擇 openEuler 作為底層基礎操作系統。首先 openEuler 操作系統已經過充分的落地實踐考驗,在系統穩定性上具有明顯優勢。其次 openEuler 可以提供完善的工具鏈支撐,不管是進行業務開發還是系統裁剪,都可以快速高效地完成。最后 openEuler 系統設計之初便考慮到對多樣性設備的支持,能夠與現有硬件生態緊密融合,極大降低了 DPU 廠家的研發成本。

得益于 openEuler 系統的出色的工具鏈支持,中科馭數已經完成第一代 DPU-OS 的裁剪定制開發并在眾多客戶業務中落地應用。后面中科馭數也將繼續深入探索 openEuler 系統,一方面繼續深化定制,打造最符合 DPU 應用場景的操作系統。另一方面也將持續為 openEuler 社區貢獻自身的力量,助力整個 openEuler 社區繁榮發展。

加入我們

sig-DPU 致力于以 openEuler 生態作為底座,打造輕量化、極致性能的 DPU-OS,助力客戶及 DPU廠商解決不同板卡與服務之間的兼容性問題。sig-DPU 依托 openEuler 生態,統一 DPU 與 HOST 操作系統底座,提供 DPU 場景定制化特性及組件,打造 DPU 軟件生態,更好地發揮其硬件卸載加速能力,進一步釋放 DPU 的商業價值。openEuler DPU-OS 已經聯合包括天翼云及中科馭數在內多家企業進行驗證。

審核編輯:彭菁

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 服務器
    +關注

    關注

    12

    文章

    9308

    瀏覽量

    86073
  • 操作系統
    +關注

    關注

    37

    文章

    6896

    瀏覽量

    123758
  • DPU
    DPU
    +關注

    關注

    0

    文章

    368

    瀏覽量

    24260
  • 大數據
    +關注

    關注

    64

    文章

    8908

    瀏覽量

    137801
  • openEuler
    +關注

    關注

    2

    文章

    319

    瀏覽量

    5941

原文標題:基于 openEuler 構建輕量、極致性能的 DPU-OS ,打造 DPU 軟件生態底座

文章出處:【微信號:openEulercommunity,微信公眾號:openEuler】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    利用NVIDIA DPF引領DPU加速云計算的未來

    DPU 的強大功能,并優化 GPU 加速計算平臺。作為一種編排框架和實施藍圖,DPF 使開發者、服務提供商和企業能夠無縫構建 BlueField 加速的云原生軟件平臺。
    的頭像 發表于 01-24 09:29 ?215次閱讀
    利用NVIDIA DPF引領<b class='flag-5'>DPU</b>加速云計算的未來

    在NVIDIA BlueField-3 DPU上運行WEKA客戶端的實際優勢

    WEKA是可擴展軟件定義數據平臺的先驅,NVIDIA 正在與其合作,將 WEKA 先進的數據平臺解決方案與功能強大的NVIDIA BlueField DPU相結合。
    的頭像 發表于 01-07 09:43 ?194次閱讀
    在NVIDIA BlueField-3 <b class='flag-5'>DPU</b>上運行WEKA<b class='flag-5'>客戶</b>端的實際優勢

    中科馭數分析DPU在云原生網絡與智算網絡中的實際應用

    CCF Chip 2024,精彩不能停!7月21日下午,中科馭數在第二屆中國計算機學會(CCF)芯片大會的“馭數專屬時刻”仍在繼續,馭數組織承辦“DPU技術趨勢和應用——DPU在云原生與智算網絡中
    的頭像 發表于 08-02 11:21 ?781次閱讀

    IaaS+on+DPU(IoD)+下一代高性能算力底座技術白皮書

    力,特別是在智算領域,對系統算力大小有決定性作用;DPU負責數據在各種 CPU 之間、CPU 與 GPU、以及 GPU 與 GPU 之間高效流通,很大程度上決定了系統是否能協同工作。 DPU
    發表于 07-24 15:32

    中科馭數:DPU構建高效智算中心基礎設施的必選項

    先生在《基于DPU的高效智算中心算力底座》主題分享中提出,大模型等智算業務推動算力需求規模快速增長,CPU+GPU+DPU的新型計算節點架構已成為高效智算中心的標準配置,為構建高性能、高靈活性、高安全性的算力基礎設施提供了強大支
    的頭像 發表于 07-08 10:51 ?750次閱讀

    中科馭數CEO鄢貴海:從計算系統的三個視角重新審視DPU的核心價值

    在信息技術日新月異的浪潮中,DPU正逐漸嶄露頭角。當前,DPU發展的核心驅動力來自于什么?DPU技術是否已經足夠成熟到廣泛應用?市場上頭部玩家參與到這一創新技術的市場角逐之中?在算力時代,DP
    的頭像 發表于 06-28 14:27 ?540次閱讀
    中科馭數CEO鄢貴海:從計算系統的三個視角重新審視<b class='flag-5'>DPU</b>的核心價值

    芯片軟件全上陣 DPU“全家桶”來了!中科馭數成功舉辦2024產品發布會

    6月19日,中科馭數2024產品發布會在北京中關村展示中心正式舉辦。聚焦自研DPU核心技術,中科馭數重磅發布最新一代DPU芯片K2 Pro、軟件開發平臺HADOS、以及一系列針對數據中心基礎設施層
    的頭像 發表于 06-23 11:09 ?941次閱讀
    芯片軟件全上陣 <b class='flag-5'>DPU</b>“全家桶”來了!中科馭數成功舉辦2024產品發布會

    中科馭數發布高性能DPU芯片K2-Pro

    在信息技術領域,每一次芯片技術的突破都代表著行業的一次飛躍。近日,DPU領域的領軍企業中科馭數宣布,成功研發并發布了其第三代DPU芯片——“K2-Pro”。這款芯片的發布,標志著中科馭數在DPU領域的技術實力達到了新的高度。
    的頭像 發表于 06-21 11:41 ?866次閱讀

    基于芯啟源NFP3800DPU芯片的深信服安全加速卡XSX40FNN網卡

    近日,國內DPU領域的領軍企業芯啟源宣布,基于芯啟源NFP3800DPU芯片定制的深信服安全加速卡XSX40FNN網卡已成功應用于其防火墻產品,并已批量推向市場。
    的頭像 發表于 05-29 14:06 ?1087次閱讀
    基于芯啟源NFP3800<b class='flag-5'>DPU</b>芯片的深信服安全加速卡XSX40FNN網卡

    NVIDIA DPU編程入門開課儀式在澳門科技大學成功舉辦

    5 月 24 日,NVIDIA DPU 編程入門開課儀式在澳門科技大學成功舉辦。作為首個在中國開設 NVIDIA DPU 編程相關課程的高校,來自澳門科技大學不同院系的師生共同見證了本次儀式。
    的頭像 發表于 05-28 09:40 ?438次閱讀

    DPU技術賦能下一代AI算力基礎設施

    4月19日,在以“重構世界 奔赴未來”為主題的2024中國生成式AI大會上,中科馭數作為DPU新型算力基礎設施代表,受邀出席了中國智算中心創新論壇,發表了題為《以網絡為中心的AI算力底座構建之路》主題演講,勾勒出在通往AGI之路上,DP
    的頭像 發表于 04-20 11:31 ?932次閱讀

    明天線上見!DPU構建高性能云算力底座——DPU技術開放日最新議程公布!

    技術在不同行業中的應用解決方案有哪些?能帶來怎樣的業務效果? 3月29日本周五,中科馭數集結產品大咖及解決方案專家團,誠邀您參加以“DPU構建高性能云算力底座”為主題的線上DPU技術開放日! 他們將逐一與您分享中科馭數系列
    的頭像 發表于 04-03 18:12 ?1039次閱讀

    中科馭數DPU技術開放日秀“肌肉”:云原生網絡、RDMA、安全加速、低延時網絡等方案組團亮相

    DPU技術開放日既是對DPU技術應用的典型方案展示,也是DPU技術在重要細分場景走向成熟的標志。
    的頭像 發表于 04-01 11:48 ?849次閱讀
    中科馭數<b class='flag-5'>DPU</b>技術開放日秀“肌肉”:云原生網絡、RDMA、安全加速、低延時網絡等方案組團亮相

    FPGA-Based DPU網卡的發展和應用

    采用單芯片的SoC形態,兼顧性能和功耗。FPGA-Based DPU在硬件設計上的挑戰主要來自芯片面積和功耗。
    發表于 02-23 14:40 ?2224次閱讀
    FPGA-Based <b class='flag-5'>DPU</b>網卡的發展和應用
    长岭县| 中国百家乐官网技巧| 百家乐筹码防伪套装| 百家乐官网有诈吗| 家乐在线| 百家乐现金网最好的系统哪里有可靠吗| 百家乐官网唯一能长期赢钱的方法| 优博百家乐官网现金网| 全讯网最方便的新全讯网| 百家乐现金投注信誉平台| 电子百家乐官网博彩正网| 德州扑克玩法说明| 网络百家乐开户网| 百家乐8点直赢| 太阳城百家乐杀猪吗| 金海岸百家乐官网的玩法技巧和规则| 澳门百家乐官网心得玩博| 大赢家博彩网| 456棋牌游戏| 百家乐轮盘一体机厂家| 百家乐e78| 太阳城百家乐主页| 百家乐怎样发牌| 七匹狼百家乐官网的玩法技巧和规则| 百家乐官网高命中投注| 百家乐官网视频小游戏| 开封县| 五华县| 金宝博188| 永利国际娱乐| 马牌娱乐城| 莫力| 湘潭县| 大富翁娱乐城| 清远市| 网上玩百家乐官网好吗| 澳门百家乐官网赢钱| 银泰国际娱乐城| 太阳城线上娱乐城| 大发888游戏平台dafa888 gw| 大发888官网e世博备用网址|