在企業(yè)級(jí)或數(shù)據(jù)中心的存儲(chǔ)應(yīng)用中,對(duì)固態(tài)閃存盤(pán)的特性有著比桌面應(yīng)用更加嚴(yán)苛的多項(xiàng)要求。其中IO延遲穩(wěn)定性和QoS(服務(wù)質(zhì)量)是其中最重要的指標(biāo),其含義表征著SSD在各種場(chǎng)景輕重壓力下能否提供穩(wěn)定的IO性能指標(biāo),將IO的抖動(dòng)和延遲控制在盡量小的范圍內(nèi),而提升上層應(yīng)用的響應(yīng)。
近年神經(jīng)網(wǎng)絡(luò)在各行各業(yè)有很多有趣的實(shí)際應(yīng)用,其在模式識(shí)別、智能機(jī)器人、自動(dòng)控制、預(yù)測(cè)估計(jì)、醫(yī)學(xué)和經(jīng)濟(jì)等領(lǐng)域已成功解決了許多現(xiàn)代計(jì)算機(jī)難以解決的實(shí)際問(wèn)題,表現(xiàn)出很好的智能特性。憶芯科技的技術(shù)團(tuán)隊(duì)經(jīng)過(guò)大膽創(chuàng)新實(shí)踐,在固態(tài)企業(yè)級(jí)算法領(lǐng)域,將神經(jīng)網(wǎng)絡(luò)應(yīng)用到SSD QoS算法調(diào)優(yōu)中,獲得了相較于比傳統(tǒng)算法的大幅提升。為企業(yè)級(jí)SSD IO延遲穩(wěn)定性和 QoS設(shè)計(jì)開(kāi)辟了全新的思路和方向。
穩(wěn)態(tài)性能是指什么?
關(guān)于SSD的性能測(cè)試有很多項(xiàng),文章下面跟大家分享下PTS測(cè)試中的Write Saturation(WSAT)寫(xiě)飽和測(cè)試的優(yōu)化內(nèi)容。PTS是固態(tài)存儲(chǔ)的性能測(cè)試規(guī)范,可參見(jiàn)《Solid State Storage Performance Test Specification 》
在PTS中,將SSD的性能狀態(tài)分為了3個(gè)階段:
a) 出廠階段(Fresh Out of the Box, FOB)
出廠狀態(tài),一般稱為空盤(pán)狀態(tài)。SSD 的NAND區(qū)域沒(méi)有進(jìn)行數(shù)據(jù)寫(xiě)入, 安全擦除命令可以將設(shè)備恢復(fù)出廠狀態(tài),該階段的寫(xiě)性能可以達(dá)到峰值性能,SSD后臺(tái)任務(wù)不會(huì)啟動(dòng)。
b) 轉(zhuǎn)換階段(Transition)
隨著非重復(fù)數(shù)據(jù)的不斷寫(xiě)入,SSD的可寫(xiě)空間變小,當(dāng)降低到一定閾值時(shí)就會(huì)觸發(fā)SSD的垃圾回收(GC)任務(wù)釋放空閑空間。該階段性能下降較多,波動(dòng)也較大,下降的幅度,取決于GC回收空閑空間的負(fù)載。
c) 穩(wěn)定階段(Steady State)
當(dāng)GC回收的負(fù)載和主機(jī)寫(xiě)入負(fù)載趨于平衡時(shí),SSD 的性能會(huì)逐漸平穩(wěn)下來(lái),并長(zhǎng)期維持在這個(gè)狀態(tài),稱為穩(wěn)態(tài)。穩(wěn)態(tài)性能對(duì)于企業(yè)SSD應(yīng)用有很大的實(shí)際意義。
穩(wěn)態(tài)性能的指標(biāo)評(píng)估
穩(wěn)態(tài)的性能不僅僅是IO處理的速度有多快,還要看處理IO是否平穩(wěn)。衡量平穩(wěn)的方式,一般有兩種:
a) 一致性=最小的IOPS/平均的IOPS
b) 一致性=超出平均IOPS的±5%的采樣次數(shù)/總的采樣次數(shù)
前者著重于表現(xiàn)單點(diǎn)向下跌落的程度,后者著重于表現(xiàn)上下振動(dòng)的幅度。
傳統(tǒng)的Qos控制算法
傳統(tǒng)的控制算法(如自適應(yīng)控制算法)的優(yōu)勢(shì)在于處理該問(wèn)題時(shí),表現(xiàn)出在不同硬件(如NAND,DDR)配置下都有較好的性能控制能力。
但是,其難點(diǎn)是在轉(zhuǎn)換階段時(shí)容易出現(xiàn)擾動(dòng),并傳遞到穩(wěn)定階段,影響IO的一致性。而且不同硬件配置下擾動(dòng)的程度可能不同,所以還需要開(kāi)發(fā)人員分別精心地調(diào)校。
下面我們來(lái)看下如何用神經(jīng)網(wǎng)絡(luò)模型處理SSD的穩(wěn)態(tài)控制問(wèn)題,以及效果怎樣。
構(gòu)建和準(zhǔn)備數(shù)據(jù)
主機(jī)先要對(duì)SSD的性能參數(shù)調(diào)節(jié)模塊配置一組參數(shù),然后在特定訓(xùn)練的IO場(chǎng)景中對(duì)SSD發(fā)送IO命令,同時(shí)主機(jī)實(shí)時(shí)地采集SSD內(nèi)部的性能監(jiān)測(cè)模塊上報(bào)的各項(xiàng)工作數(shù)據(jù)。
抽樣的數(shù)據(jù)有很多,且時(shí)間段也較長(zhǎng),要能實(shí)際表示出實(shí)際情形,需要在后面的整個(gè)流程中,不斷反復(fù)且持續(xù)的進(jìn)行工作并修正需要訓(xùn)練的數(shù)據(jù)集。
構(gòu)建和訓(xùn)練模型
a) 建立神經(jīng)網(wǎng)絡(luò)模型
為了方便理解,可將模型簡(jiǎn)化為一個(gè)三輸入二輸出的模型。輸入輸出的參數(shù)如下:
輸入?yún)?shù)host_w_iops:采樣主機(jī)寫(xiě)通路的IOPS
輸入?yún)?shù)host_r_iops:采樣主機(jī)讀通路的IOPS
輸入?yún)?shù)vtc:SSD內(nèi)部啟動(dòng)GC(垃圾回收)任務(wù)時(shí),最小單位數(shù)據(jù)的有效數(shù)量
輸出參數(shù)host_w_limit:主機(jī)寫(xiě)通路的流量限制參數(shù)
輸出參數(shù)gc_limit:GC通路的流量限制參數(shù)
注:流量限制是指單位時(shí)間(如100ms)內(nèi)可以處理單元數(shù)據(jù)(一般是4K)的數(shù)量。
通過(guò)軟件定時(shí)器實(shí)現(xiàn)的單位時(shí)間精度一般是在ms毫秒級(jí),憶芯科技的新一代主控芯片STAR2000在硬件上實(shí)現(xiàn)了流量管理功能,時(shí)間精度可以達(dá)到ns納秒級(jí),精度相對(duì)提高了100萬(wàn)倍。
b) 訓(xùn)練模型
i. 分析收集到的數(shù)據(jù)集,配置給模型一組期望的目標(biāo)值。
ii. 用收集到的數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò),并評(píng)估訓(xùn)練結(jié)果,若目標(biāo)偏差較大,需要反復(fù)迭代訓(xùn)練該過(guò)程。
iii. 訓(xùn)練完成后,將相關(guān)參數(shù)集部署到SSD中,并執(zhí)行訓(xùn)練場(chǎng)景的IO測(cè)試。
iv. 若實(shí)際結(jié)果與目標(biāo)偏差較大,則反饋到前端進(jìn)行調(diào)整。
v. 最后訓(xùn)練完成后,就可以進(jìn)入評(píng)估階段,驗(yàn)證下實(shí)際的效果。
評(píng)估模型
a) 轉(zhuǎn)換階段:
從下圖中看到轉(zhuǎn)換過(guò)程中沒(méi)有超調(diào)的情況,在退出轉(zhuǎn)換階段時(shí)無(wú)明顯的擾動(dòng)。
b) 穩(wěn)定階段:
從下圖中可看到,使用神經(jīng)網(wǎng)絡(luò)模型的方式,在振動(dòng)的幅度上有一定的改善。單點(diǎn)向下抖動(dòng)的程度也有一定改善,具體的一致性數(shù)值則從之前的91%提升至97%。
總結(jié)
較傳統(tǒng)企業(yè)級(jí)QoS優(yōu)化手段,利用神經(jīng)網(wǎng)絡(luò)模型可輕松實(shí)現(xiàn)應(yīng)對(duì)各種復(fù)雜場(chǎng)景,并能實(shí)現(xiàn)更加精確的自適應(yīng)參數(shù)調(diào)優(yōu),取得更高的IO穩(wěn)定性。
然而,在嵌入式里執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算會(huì)帶來(lái)一定的計(jì)算開(kāi)銷,新一代主控芯片STAR2000則專門(mén)集成了硬件神經(jīng)網(wǎng)絡(luò)處理單元,結(jié)合8TOPS的算力,可以輕松應(yīng)對(duì)新的業(yè)務(wù)挑戰(zhàn)。
神經(jīng)網(wǎng)絡(luò)控制作為智能控制的一個(gè)新的分支,由神經(jīng)網(wǎng)絡(luò)與控制理論相結(jié)合而發(fā)展起來(lái),可以為解決復(fù)雜的非線性,不確定的控制問(wèn)題提供一種新的途徑。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4779瀏覽量
101172 -
SSD
+關(guān)注
關(guān)注
21文章
2887瀏覽量
117859 -
數(shù)據(jù)中心
+關(guān)注
關(guān)注
16文章
4859瀏覽量
72381 -
主控芯片
+關(guān)注
關(guān)注
2文章
201瀏覽量
24774
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論