那曲檬骨新材料有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何用神經(jīng)網(wǎng)絡(luò)模型處理SSD穩(wěn)態(tài)控制問(wèn)題

科技綠洲 ? 來(lái)源:北京憶芯科技有限公司 ? 作者:北京憶芯科技有限 ? 2022-06-08 15:41 ? 次閱讀

在企業(yè)級(jí)或數(shù)據(jù)中心的存儲(chǔ)應(yīng)用中,對(duì)固態(tài)閃存盤(pán)的特性有著比桌面應(yīng)用更加嚴(yán)苛的多項(xiàng)要求。其中IO延遲穩(wěn)定性和QoS(服務(wù)質(zhì)量)是其中最重要的指標(biāo),其含義表征著SSD在各種場(chǎng)景輕重壓力下能否提供穩(wěn)定的IO性能指標(biāo),將IO的抖動(dòng)和延遲控制在盡量小的范圍內(nèi),而提升上層應(yīng)用的響應(yīng)。

近年神經(jīng)網(wǎng)絡(luò)在各行各業(yè)有很多有趣的實(shí)際應(yīng)用,其在模式識(shí)別、智能機(jī)器人、自動(dòng)控制、預(yù)測(cè)估計(jì)、醫(yī)學(xué)和經(jīng)濟(jì)等領(lǐng)域已成功解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問(wèn)題,表現(xiàn)出很好的智能特性。憶芯科技的技術(shù)團(tuán)隊(duì)經(jīng)過(guò)大膽創(chuàng)新實(shí)踐,在固態(tài)企業(yè)級(jí)算法領(lǐng)域,將神經(jīng)網(wǎng)絡(luò)應(yīng)用到SSD QoS算法調(diào)優(yōu)中,獲得了相較于比傳統(tǒng)算法的大幅提升。為企業(yè)級(jí)SSD IO延遲穩(wěn)定性和 QoS設(shè)計(jì)開(kāi)辟了全新的思路和方向。

穩(wěn)態(tài)性能是指什么?

關(guān)于SSD的性能測(cè)試有很多項(xiàng),文章下面跟大家分享下PTS測(cè)試中的Write Saturation(WSAT)寫(xiě)飽和測(cè)試的優(yōu)化內(nèi)容。PTS是固態(tài)存儲(chǔ)的性能測(cè)試規(guī)范,可參見(jiàn)《Solid State Storage Performance Test Specification 》

在PTS中,將SSD的性能狀態(tài)分為了3個(gè)階段:

a) 出廠階段(Fresh Out of the Box, FOB)

出廠狀態(tài),一般稱為空盤(pán)狀態(tài)。SSD 的NAND區(qū)域沒(méi)有進(jìn)行數(shù)據(jù)寫(xiě)入, 安全擦除命令可以將設(shè)備恢復(fù)出廠狀態(tài),該階段的寫(xiě)性能可以達(dá)到峰值性能,SSD后臺(tái)任務(wù)不會(huì)啟動(dòng)。

b) 轉(zhuǎn)換階段(Transition)

隨著非重復(fù)數(shù)據(jù)的不斷寫(xiě)入,SSD的可寫(xiě)空間變小,當(dāng)降低到一定閾值時(shí)就會(huì)觸發(fā)SSD的垃圾回收(GC)任務(wù)釋放空閑空間。該階段性能下降較多,波動(dòng)也較大,下降的幅度,取決于GC回收空閑空間的負(fù)載。

c) 穩(wěn)定階段(Steady State)

當(dāng)GC回收的負(fù)載和主機(jī)寫(xiě)入負(fù)載趨于平衡時(shí),SSD 的性能會(huì)逐漸平穩(wěn)下來(lái),并長(zhǎng)期維持在這個(gè)狀態(tài),稱為穩(wěn)態(tài)。穩(wěn)態(tài)性能對(duì)于企業(yè)SSD應(yīng)用有很大的實(shí)際意義。

穩(wěn)態(tài)性能的指標(biāo)評(píng)估

穩(wěn)態(tài)的性能不僅僅是IO處理的速度有多快,還要看處理IO是否平穩(wěn)。衡量平穩(wěn)的方式,一般有兩種:

a) 一致性=最小的IOPS/平均的IOPS

b) 一致性=超出平均IOPS的±5%的采樣次數(shù)/總的采樣次數(shù)

前者著重于表現(xiàn)單點(diǎn)向下跌落的程度,后者著重于表現(xiàn)上下振動(dòng)的幅度。

傳統(tǒng)的Qos控制算法

傳統(tǒng)的控制算法(如自適應(yīng)控制算法)的優(yōu)勢(shì)在于處理該問(wèn)題時(shí),表現(xiàn)出在不同硬件(如NAND,DDR)配置下都有較好的性能控制能力。

但是,其難點(diǎn)是在轉(zhuǎn)換階段時(shí)容易出現(xiàn)擾動(dòng),并傳遞到穩(wěn)定階段,影響IO的一致性。而且不同硬件配置下擾動(dòng)的程度可能不同,所以還需要開(kāi)發(fā)人員分別精心地調(diào)校。

下面我們來(lái)看下如何用神經(jīng)網(wǎng)絡(luò)模型處理SSD的穩(wěn)態(tài)控制問(wèn)題,以及效果怎樣。

構(gòu)建和準(zhǔn)備數(shù)據(jù)

主機(jī)先要對(duì)SSD的性能參數(shù)調(diào)節(jié)模塊配置一組參數(shù),然后在特定訓(xùn)練的IO場(chǎng)景中對(duì)SSD發(fā)送IO命令,同時(shí)主機(jī)實(shí)時(shí)地采集SSD內(nèi)部的性能監(jiān)測(cè)模塊上報(bào)的各項(xiàng)工作數(shù)據(jù)。

抽樣的數(shù)據(jù)有很多,且時(shí)間段也較長(zhǎng),要能實(shí)際表示出實(shí)際情形,需要在后面的整個(gè)流程中,不斷反復(fù)且持續(xù)的進(jìn)行工作并修正需要訓(xùn)練的數(shù)據(jù)集。

構(gòu)建和訓(xùn)練模型

a) 建立神經(jīng)網(wǎng)絡(luò)模型

為了方便理解,可將模型簡(jiǎn)化為一個(gè)三輸入二輸出的模型。輸入輸出的參數(shù)如下:

輸入?yún)?shù)host_w_iops:采樣主機(jī)寫(xiě)通路的IOPS

輸入?yún)?shù)host_r_iops:采樣主機(jī)讀通路的IOPS

輸入?yún)?shù)vtc:SSD內(nèi)部啟動(dòng)GC(垃圾回收)任務(wù)時(shí),最小單位數(shù)據(jù)的有效數(shù)量

輸出參數(shù)host_w_limit:主機(jī)寫(xiě)通路的流量限制參數(shù)

輸出參數(shù)gc_limit:GC通路的流量限制參數(shù)

注:流量限制是指單位時(shí)間(如100ms)內(nèi)可以處理單元數(shù)據(jù)(一般是4K)的數(shù)量。

通過(guò)軟件定時(shí)器實(shí)現(xiàn)的單位時(shí)間精度一般是在ms毫秒級(jí),憶芯科技的新一代主控芯片STAR2000在硬件上實(shí)現(xiàn)了流量管理功能,時(shí)間精度可以達(dá)到ns納秒級(jí),精度相對(duì)提高了100萬(wàn)倍。

b) 訓(xùn)練模型

i. 分析收集到的數(shù)據(jù)集,配置給模型一組期望的目標(biāo)值。

ii. 用收集到的數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò),并評(píng)估訓(xùn)練結(jié)果,若目標(biāo)偏差較大,需要反復(fù)迭代訓(xùn)練該過(guò)程。

iii. 訓(xùn)練完成后,將相關(guān)參數(shù)集部署到SSD中,并執(zhí)行訓(xùn)練場(chǎng)景的IO測(cè)試。

iv. 若實(shí)際結(jié)果與目標(biāo)偏差較大,則反饋到前端進(jìn)行調(diào)整。

v. 最后訓(xùn)練完成后,就可以進(jìn)入評(píng)估階段,驗(yàn)證下實(shí)際的效果。

評(píng)估模型

a) 轉(zhuǎn)換階段:

從下圖中看到轉(zhuǎn)換過(guò)程中沒(méi)有超調(diào)的情況,在退出轉(zhuǎn)換階段時(shí)無(wú)明顯的擾動(dòng)。

b) 穩(wěn)定階段:

從下圖中可看到,使用神經(jīng)網(wǎng)絡(luò)模型的方式,在振動(dòng)的幅度上有一定的改善。單點(diǎn)向下抖動(dòng)的程度也有一定改善,具體的一致性數(shù)值則從之前的91%提升至97%。

總結(jié)

較傳統(tǒng)企業(yè)級(jí)QoS優(yōu)化手段,利用神經(jīng)網(wǎng)絡(luò)模型可輕松實(shí)現(xiàn)應(yīng)對(duì)各種復(fù)雜場(chǎng)景,并能實(shí)現(xiàn)更加精確的自適應(yīng)參數(shù)調(diào)優(yōu),取得更高的IO穩(wěn)定性。

然而,在嵌入式里執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算會(huì)帶來(lái)一定的計(jì)算開(kāi)銷,新一代主控芯片STAR2000則專門(mén)集成了硬件神經(jīng)網(wǎng)絡(luò)處理單元,結(jié)合8TOPS的算力,可以輕松應(yīng)對(duì)新的業(yè)務(wù)挑戰(zhàn)。

神經(jīng)網(wǎng)絡(luò)控制作為智能控制的一個(gè)新的分支,由神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來(lái),可以為解決復(fù)雜的非線性,不確定的控制問(wèn)題提供一種新的途徑。

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4779

    瀏覽量

    101172
  • SSD
    SSD
    +關(guān)注

    關(guān)注

    21

    文章

    2887

    瀏覽量

    117859
  • 數(shù)據(jù)中心
    +關(guān)注

    關(guān)注

    16

    文章

    4859

    瀏覽量

    72381
  • 主控芯片
    +關(guān)注

    關(guān)注

    2

    文章

    201

    瀏覽量

    24774
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    神經(jīng)網(wǎng)絡(luò)辨識(shí)模型具有什么特點(diǎn)

    神經(jīng)網(wǎng)絡(luò)辨識(shí)模型是一種基于人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識(shí)方法,它具有以下特點(diǎn): 非線性映射能力 :神經(jīng)網(wǎng)絡(luò)能夠處理非線性問(wèn)題,可以很好地?cái)M合復(fù)雜的非
    的頭像 發(fā)表于 07-11 11:12 ?533次閱讀

    pytorch中有神經(jīng)網(wǎng)絡(luò)模型

    處理、語(yǔ)音識(shí)別等領(lǐng)域取得了顯著的成果。PyTorch是一個(gè)開(kāi)源的深度學(xué)習(xí)框架,由Facebook的AI研究團(tuán)隊(duì)開(kāi)發(fā)。它以其易用性、靈活性和高效性而受到廣泛歡迎。在PyTorch中,有許多預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型可供選擇,這些
    的頭像 發(fā)表于 07-11 09:59 ?814次閱讀

    PyTorch神經(jīng)網(wǎng)絡(luò)模型構(gòu)建過(guò)程

    PyTorch,作為一個(gè)廣泛使用的開(kāi)源深度學(xué)習(xí)庫(kù),提供了豐富的工具和模塊,幫助開(kāi)發(fā)者構(gòu)建、訓(xùn)練和部署神經(jīng)網(wǎng)絡(luò)模型。在神經(jīng)網(wǎng)絡(luò)模型中,輸出層是尤為關(guān)鍵的部分,它負(fù)責(zé)將
    的頭像 發(fā)表于 07-10 14:57 ?566次閱讀

    基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型有哪些

    基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型(Neural Language Models, NLMs)是現(xiàn)代自然語(yǔ)言處理(NLP)領(lǐng)域的一個(gè)重要組成部分,它們通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)捕捉語(yǔ)言的統(tǒng)計(jì)特性和語(yǔ)義信息,從
    的頭像 發(fā)表于 07-10 11:15 ?870次閱讀

    神經(jīng)網(wǎng)絡(luò)控制的優(yōu)勢(shì)與挑戰(zhàn)

    是一種模擬人腦神經(jīng)元網(wǎng)絡(luò)的計(jì)算模型,由大量的簡(jiǎn)單處理單元(神經(jīng)元)組成,這些神經(jīng)元通過(guò)權(quán)重連接在一起。
    的頭像 發(fā)表于 07-09 09:47 ?722次閱讀

    rnn是什么神經(jīng)網(wǎng)絡(luò)模型

    RNN(Recurrent Neural Network,循環(huán)神經(jīng)網(wǎng)絡(luò))是一種具有循環(huán)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型,它能夠處理序列數(shù)據(jù),并對(duì)序列中的元素進(jìn)行建模。RNN在自然語(yǔ)言
    的頭像 發(fā)表于 07-05 09:50 ?701次閱讀

    人工神經(jīng)網(wǎng)絡(luò)模型包含哪些層次

    人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)是一種模擬人腦神經(jīng)網(wǎng)絡(luò)的計(jì)算模型,具有自適應(yīng)、自學(xué)習(xí)、泛化能力強(qiáng)等特點(diǎn)。本文將詳細(xì)介紹人工神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-05 09:17 ?714次閱讀

    人工神經(jīng)網(wǎng)絡(luò)模型的分類有哪些

    人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANNs)是一種模擬人腦神經(jīng)元網(wǎng)絡(luò)的計(jì)算模型,它在許多領(lǐng)域,如圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理、預(yù)測(cè)分析等有著廣泛
    的頭像 發(fā)表于 07-05 09:13 ?1370次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)的原理是什么

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,簡(jiǎn)稱CNN)是一種深度學(xué)習(xí)模型,廣泛應(yīng)用于圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域。本文將詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的原
    的頭像 發(fā)表于 07-02 14:44 ?807次閱讀

    數(shù)學(xué)建模神經(jīng)網(wǎng)絡(luò)模型的優(yōu)缺點(diǎn)有哪些

    數(shù)學(xué)建模神經(jīng)網(wǎng)絡(luò)模型是一種基于人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)建模方法,它通過(guò)模擬人腦神經(jīng)元的連接和信息傳遞機(jī)制,對(duì)復(fù)雜系統(tǒng)進(jìn)行建模和分析。神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-02 11:36 ?1016次閱讀

    神經(jīng)網(wǎng)絡(luò)模型的原理、類型及應(yīng)用領(lǐng)域

    數(shù)學(xué)建模神經(jīng)網(wǎng)絡(luò)模型是一種基于人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)建模方法,它通過(guò)模擬人腦神經(jīng)元的工作機(jī)制,實(shí)現(xiàn)對(duì)復(fù)雜問(wèn)題的建模和求解。神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-02 11:31 ?1370次閱讀

    基于神經(jīng)網(wǎng)絡(luò)算法的模型構(gòu)建方法

    神經(jīng)網(wǎng)絡(luò)是一種強(qiáng)大的機(jī)器學(xué)習(xí)算法,廣泛應(yīng)用于各種領(lǐng)域,如圖像識(shí)別、自然語(yǔ)言處理、語(yǔ)音識(shí)別等。本文詳細(xì)介紹了基于神經(jīng)網(wǎng)絡(luò)算法的模型構(gòu)建方法,包括數(shù)據(jù)預(yù)
    的頭像 發(fā)表于 07-02 11:21 ?656次閱讀

    人工神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用有哪些

    人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks,ANNs)是一種受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)的計(jì)算模型,它通過(guò)模擬人腦神經(jīng)元的連接和交互來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的學(xué)習(xí)和
    的頭像 發(fā)表于 07-02 10:04 ?1200次閱讀

    深度神經(jīng)網(wǎng)絡(luò)模型有哪些

    深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNNs)是一類具有多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò),它們?cè)谠S多領(lǐng)域取得了顯著的成功,如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別等。以下是一些常見(jiàn)的深度
    的頭像 發(fā)表于 07-02 10:00 ?1639次閱讀

    神經(jīng)網(wǎng)絡(luò)模型的原理、類型、應(yīng)用場(chǎng)景及優(yōu)缺點(diǎn)

    神經(jīng)網(wǎng)絡(luò)模型是一種基于人工神經(jīng)元的數(shù)學(xué)模型,用于模擬人腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能。神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-02 09:56 ?1769次閱讀
    大发888赌场是干什么的| 曼哈顿百家乐的玩法技巧和规则| 壹贰博百家乐官网娱乐城| 88娱乐城开户| 墨尔本百家乐的玩法技巧和规则 | 手机百家乐官网的玩法技巧和规则| 太阳城百家乐| 二八杠游戏机| 百家乐透明牌靴| 迪士尼百家乐官网的玩法技巧和规则 | 百家乐官网解密软件| 保时捷娱乐| 威尼斯人娱乐城动态| 百家乐最好的平台是哪个| 百家乐官网详情| 大发888赢钱| 赌场百家乐试玩| 百家乐官网必赢| 百家乐官网怎样做弊| 通化大嘴棋牌游戏| 百家乐款| 百家乐返点| 做生意怎么看风水| 最新百家乐官网出千赌具| 百家乐官网怎么玩啊| 535棋牌游戏| 新太阳城工业区| 怎么看百家乐路单| 百家乐的路单怎样看| 大上海百家乐官网娱乐城| 百家乐官网客户端软件| 合川市| 新葡京娱乐城官方网站| 大发888娱乐城论坛| 沙龙百家乐赌场娱乐网规则| 百家乐注册平台排名| 新时代百家乐官网的玩法技巧和规则 | 环球百家乐娱乐城| 百家乐高命中打法| 波音百家乐现金网投注平台排名导航 | 玩百家乐技巧博客|