由于人工智能 （AI） 和機(jī)器學(xué)習(xí) （ML） 的進(jìn)步，嵌入式系統(tǒng)提供商越來越多地開發(fā)大腦芯片，邊緣的人工智能 （AI） 使用正在急劇增長。微芯科技股份有限公司與韓國智能硬件 （IHWK） 正在合作開發(fā)模擬計算平臺，以加速神經(jīng)技術(shù)設(shè)備的邊緣 AI/ML 推理。

IHWK正在為神經(jīng)技術(shù)設(shè)備和現(xiàn)場可編程神經(jīng)形態(tài)設(shè)備開發(fā)神經(jīng)形態(tài)計算平臺。Microchip Technology子公司Silicon Storage Technology（SST）宣布將通過為其SuperFlash memBrain神經(jīng)形態(tài)記憶解決方案提供評估系統(tǒng)來協(xié)助該平臺的開發(fā)。該解決方案基于 Microchip 的非易失性存儲器 （NVM） SuperFlash 技術(shù)，經(jīng)過優(yōu)化，可通過模擬內(nèi)存計算方法為神經(jīng)網(wǎng)絡(luò)執(zhí)行矢量矩陣乘法 （VMM）。

Sheer Analytics&Insights的一份報告預(yù)測，到2028年，全球神經(jīng)形態(tài)計算市場將達(dá)到7.8億美元，在2020年至2028年的預(yù)測年份中以50%的年復(fù)合年增長率增長。

“神經(jīng)形態(tài)計算技術(shù)利用在模擬域內(nèi)操作關(guān)鍵過程的硬件來模仿大腦過程，”Microchip許可業(yè)務(wù)部門SST副總裁Mark Reiten說?！澳M域內(nèi)的操作利用非馮諾依曼架構(gòu)，以最小的功耗提供人工智能驅(qū)動的功能。這是對基于數(shù)字硬件和傳統(tǒng)馮諾依曼架構(gòu)的主流人工神經(jīng)網(wǎng)絡(luò)的重大改進(jìn)。數(shù)字方法消耗的功率比人腦高出多個數(shù)量級，以實現(xiàn)類似的任務(wù)。
memBrain技術(shù)評估套件使IHWK能夠展示其神經(jīng)形態(tài)計算平臺在邊緣運行推理算法的能效。目標(biāo)是為生成式 AI 模型、自動駕駛汽車、醫(yī)療診斷、語音處理、安全/監(jiān)控和商用無人機(jī)等應(yīng)用創(chuàng)建超低功耗模擬處理單元 （APU）。

這是兩家公司之間的首次合作，合作期限可能長達(dá)數(shù)年。“IHWK打算使用我們提供的memBrain演示系統(tǒng)來試驗設(shè)計理念，以便為他們正在評估的邊緣計算市場制定上市戰(zhàn)略，”Reiten說。

當(dāng)前用于邊緣推理的神經(jīng)網(wǎng)絡(luò)模型可能需要 5000 萬個或更多的突觸（權(quán)重）進(jìn)行處理，這為純數(shù)字神經(jīng)網(wǎng)絡(luò)計算所需的片外 DRAM 帶來了帶寬瓶頸。memBrain 解決方案以超低功耗亞閾值模式將突觸權(quán)重存儲在片上浮柵中，并使用相同的存儲單元來執(zhí)行計算。這提高了電源效率和系統(tǒng)延遲。與傳統(tǒng)的數(shù)字 DSP 和基于 SRAM/DRAM 的方法相比，它為每個推理決策的功耗降低了 10× 到 20×并顯著降低了總體物料清單 （BOM）。

“突觸權(quán)重作為電導(dǎo)存儲在浮柵存儲單元中，這意味著該單元用作可編程電阻器，”Reiten解釋說?！爱?dāng)在位線上的水平方向向電池施加輸入電壓并與電池電導(dǎo)相結(jié)合時，以電流測量的輸出是輸入電壓（值1）乘以電導(dǎo)（值2）。我們將單詞行上許多細(xì)胞的輸出電流相加，在陣列中形成垂直方向的'神經(jīng)元'。

IHWK還與大田的韓國科學(xué)技術(shù)院（KAIST）合作開發(fā)用于設(shè)備開發(fā)的APU，并與首爾延世大學(xué)合作開發(fā)設(shè)備設(shè)計協(xié)助。最終的APU應(yīng)優(yōu)化系統(tǒng)級算法，以便在每瓦20-80 TeraOPS之間運行 - 這是專為電池供電設(shè)備設(shè)計的內(nèi)存計算解決方案的最佳性能。

“至于使用該技術(shù)的電池壽命，這實際上取決于特定的目標(biāo)市場，但與同等性能的數(shù)字解決方案相比，memBrain技術(shù)應(yīng)該能夠?qū)?a target="_blank">產(chǎn)品的電池壽命延長至少3×”Reiten說。

通過使用NVM而不是片外存儲器來執(zhí)行神經(jīng)網(wǎng)絡(luò)計算和存儲權(quán)重，memBrain技術(shù)可以消除與在邊緣執(zhí)行AI處理相關(guān)的大量數(shù)據(jù)通信瓶頸。IHWK正在利用SuperFlash存儲器的浮動?xùn)艠O單元的非易失性來實現(xiàn)低功耗邊緣計算設(shè)備的新基準(zhǔn)，支持使用高級ML模型進(jìn)行ML推理。